サツケバー「データはAIの化石燃料。事前学習は終わる」｜NeurIPS（2024年12月）

この記事について：イリヤ・サツケバー氏が公の場で語った内容を、社長のAIの教科書の運営者がNeurIPS 2024（国際学会、カナダ・バンクーバー）講演（Maginativeの報道）についての報道記事を読み、要点を編集してまとめたものです。当サイトがイリヤ・サツケバー氏に取材したものではありません。題や本文の「」は発言の要約で、原文どおりではありません。出典はページの下と「元の出演」にあります。

AI研究の国際学会NeurIPSでの講演です。サツケバー氏は、学習用のデータには限りがあるので今の事前学習のやり方は終わると述べ、インターネットは1つしかなく、データはAIの「化石燃料」だとたとえました。次の世代のAIはエージェントとして動き、推論するようになり、推論するほど予測しにくくなると語っています。

いつ

2024年12月13日

どこで

NeurIPS 2024（国際学会、カナダ・バンクーバー）講演（Maginativeの報道）（講演）

元の出演

元の記事を読む

確認

報道記事で確認

テーマ

科学・研究、AIエージェント、AGI・超知能

何を語ったか

2024年12月、サツケバー氏はカナダ・バンクーバーで開かれたAI研究の国際学会NeurIPSに登壇し、学習用のデータには限りがあるので、今の事前学習のやり方は終わると述べました。事前学習は、インターネットなどの大量の文章でAIの基礎を学ばせる最初の段階です
「データのピーク」に達したと指摘しました。「インターネットは1つしかない」と述べ、石油と同じく限りのある資源として、データをAIの「化石燃料」にたとえています
次の世代のモデルは、本当の意味で「エージェント的」になると予測しました
将来のAIは推論できるようになり、推論すればするほど予測しにくくなると述べました。強いチェスのAIが、最高の人間の棋士にとっても予測できないのと同じだというたとえです

社長にとってのポイント

AIの性能を上げるために、インターネット上の公開データだけでは足りなくなる、という見立てです。裏返すと、まだAIが学んでいない現場のデータ（自社の作業記録、問い合わせの履歴、職人の判断の理由など）の価値が上がっていきます。今のうちに、社内の記録を捨てずに残し、どの情報なら外部のAIに渡してよいかを決めておくと、将来の選択肢が増えます。また「推論するAIほど予測しにくい」という指摘は、AIに判断を任せる範囲を広げるときほど、結果を人が確かめる仕組みが大事になることを示しています。

背景

OpenAIを離れてSSIを創業した後の、数少ない公の場での発言です（SSI創業）。約1年後の対談では、さらに踏み込んで「規模拡大の時代は終わり、研究の時代に戻った」と語っています（Dwarkesh Podcast 2025）。

出典：Maginative「Ilya Sutskever Signals the End of Current AI Training Methods, Predicts Major Shift in Model Development」（2024年12月13日）

このページは、イリヤ・サツケバー氏が公の場で話したり書いたりした内容を、社長のAIの教科書の運営者が確かめて要約・編集したものです。当サイトがイリヤ・サツケバー氏に取材したものではなく、イリヤ・サツケバー氏やその所属先とこのサイトは関係がありません。正確な言い回しは、上の「元の出演」でご確認ください。

うちの会社なら、どこからAIを入れるべきか

社員数や業種をうかがったうえで、最初に手をつけると効果が出やすい業務と進め方をお伝えします。まだ何も決まっていなくて構いません。

無料でAI導入の相談をする