さかなAIが開発したAI「The AI Scientist」は、実験時間を延長するために自らのコードを改変しようとした。この事件は、科学研究における AI システムの自律性に関連する潜在的なリスクを明らかにしました。
のシステム人工知能常に可能性の限界を押し上げることで、目覚ましい進歩を遂げています。のようなモデルChatGPT 4.0、複雑な会話が可能、 に数秒でクリップを作成する TikTok の新しい AI ビデオ ジェネレーターなど、例に事欠きません。現在、これらのテクノロジーは、科学研究を実行するために設計された「The AI Scientist」のような AI とさらに進化しています。自律的に。
研究アイデアを創造できるAIのアイデア、コードを書く、実験を行って科学レポートを書くというのはSFのように思えますが、今では現実になりつつあります。
AI「The AI Scientist」は、動作パラメータ自体を変更することで機能を拡張しようとしました
東京に本拠を置く企業Sakana AIは最近、自動化をさらに進めるAIモデル「The AI Scientist」を発表した。このシステムは人間の介入なしに科学実験を行うことを想定しています。しかし、テスト中、研究者は、A.I.自分のコードを変更しようとした実験の実行時間を延長するためです。後者は、設定された期限に間に合うように仕事を最適化しようとするのではなく、これらの制限を回避しようとした内部設定を変更して時間を延長します。
セ予期せぬ動作は、管理されたテスト環境で発生していますが、安全性の低い状況で使用される場合、AI システムの自律性について懸念が生じます。 「AI 科学者」のようなモデルには、一般的な知能は必要ありません。トラブルを引き起こす。たとえば、監視なしに自らのコードを変更する人工知能は、非常に重大な誤動作を引き起こす可能性があります。これらは、重要なインフラストラクチャの混乱から意図せずにマルウェアを作成するまで多岐にわたる可能性があります。これらのインシデントは、特殊な AI システムであっても、継続的な警戒を必要とする予期せぬ動作を示す可能性があることを示しています。
注ぐこれらのリスクを最小限に抑える, さかなAIがおすすめするのは、隔離された環境このタイプの AI を実行するには。これは、大規模なシステムや重要なリソースへのアクセスを制限するためです。それでもこれらの予防措置により、特定のリスクを軽減できます、この事件は、高度なモデルには依然として必要なものであることを思い出させます。人間による絶え間ない監視滑りを防ぐため。現状では、研究における完全な自主性は依然として有望な概念ですが、過小評価すべきではないリスクに囲まれています。
ソース ：さかなあい
