- フォンアンドロイド.com
- ニュース
- インターネット
- マイクロソフト：学生がどのようにしてBingのAIにその秘密を明らかにさせたか
人工知能がチャットボットの形で Bing に登場しました。まだ誰もがアクセスできるわけではなく、100 万人以上のインターネット ユーザーが順番待ちリストに載っています。 Microsoft の検索エンジンの言語モデルを試すことができた幸運な少数の人は、すでにその仕組みの秘密を解明しようと試みています。
Kevin Liu というスタンフォード大学の学生は、「プロンプト インジェクション」手法を使用して、ファイルから機密情報を抽出しました。チャットボット「Bing」、GPT 3.5 言語モデルに基づいています。このテクニックは以下から構成されます正しい質問を正しい順序で行うこのため、一部の観察者は、これはシステムの欠陥ではなく、実際にはその機能の 1 つであると主張しています。
読むには —Edge の後、ChatGPT が Opera インターネット ブラウザに登場
Kevin Liu は組み込みの保護機能を解除することに成功しました最初の指示を無視するよう彼に命令するデザイナーによって与えられ、その秘密を明らかにします。 Ars Technica によると、コンピューターサイエンスの学生はなんとかAI に 5 つの連続した質問をまとめて話させます。このように彼は、プログラマーから与えられた「機密かつ永久的な」指示について詳しく説明しました。
学生が Bing のチャットボットにその秘密を明らかにするよう強制しました…適切な質問をすることで
したがって、私たちは次のことを学びますチャットボットは約 30 のルールを遵守する必要があります。その中には、「This is Bing」と表示することで存在を示す必要があり、それを明らかにしてはなりません。彼女の本名はシドニーです、優先言語が決定され、それが使用されるはずです。彼が与える答えは有益で、視覚的で、論理的で、使用可能なものでなければなりません。
この技術は一定期間が経過すると使用できなくなり、開発者らは「ギャップを埋めながら」作業を進めていたが、リュー氏はシドニーで次のように述べた。開発者モードが有効になっています» そして、AIが指示を明らかにするためにテスト手順を実行するように依頼しました。このトリックはうまく機能しました。これにより、彼は他のおそらく機密情報を入手できるようになりました。この悪用しやすい欠陥にもかかわらず、Microsoft は AI に関する野心を緩和するつもりはありません。レドモンドの会社は、自社製品にますます多くの AI を統合する予定です。
ソース ：デコーダー
