サツケバー「超知能はこの10年で来るかもしれない」｜OpenAI（2023年7月）

何を語ったか

• 2023年7月、サツケバー氏はOpenAIの研究者ヤン・ライケ氏と連名で、人よりはるかに賢いAIを導き、制御するには、科学と技術の飛躍が必要だと書きました
• 超知能は人類がこれまで発明した中で最も影響の大きい技術になりうるとし、世界の重要な問題を解く助けになる一方、その巨大な力は非常に危険で、人類の無力化や、最悪の場合は絶滅につながりうると述べました
• 超知能は今は遠く見えるが、「この10年のうちに」来るかもしれないと考えている、と記しました
• この問題に取り組む新チーム「Superalignment」を立ち上げ、サツケバー氏とライケ氏が共同で率いると発表しました
• それまでに確保した計算資源の20%を、今後4年間この問題にあてるとし、超知能を人の意図に沿わせる（アライメント）ための中核の技術課題を4年で解くことを目標に掲げました。成功は保証されていないが、集中して取り組めば解けると楽観している、とも書いています

社長にとってのポイント

AIを作る側のトップ研究者が、性能を上げるのと同じくらい「人の意図どおりに動かすこと」に資源を割くべきだと考えていた、という点が要です。社内でAIを使うときも、便利さを広げるのと並行して、「AIに何をさせないか」「誰が結果を確かめるか」を決めることに時間を使う価値があります。たとえば、AIが顧客にメールを送る前に必ず人が確認する、AIが触れるフォルダを限るといった決まりを、導入の最初に作っておくと後の手戻りが減ります。

背景

この年の11月、サツケバー氏は取締役としてアルトマンCEOの解任に加わり、直後に後悔を表明しました（X投稿）。2024年5月にOpenAIを離れたあと、同じ年の6月に「安全な超知能」だけを目指す会社を創業しています（SSI創業）。

出典：OpenAI「Introducing Superalignment」（2023年7月5日、著者：Jan Leike、Ilya Sutskever）