ChatGPT には多くの知識がありますが、人間のように推論する能力はどうでしょうか?アメリカの研究者がテストを行いました。
ChatGPT は Google よりもよく質問に答えます、言語学習アプリケーションPreplyが実施したテストによると。しかし、OpenAI が開発した人工知能は完璧とは程遠く、時には深刻な論理問題に悩まされることさえあります。
チャットボットには、スタンフォード大学教授のミハル・コシンスキー氏による一連の心の理論的タスクが適用されました。認知科学では、これらのタスクは特定の状況を理解する人間の能力をテストするために使用され、これにより共感や論理などのいくつかの属性のレベルを判断することが可能になります。
実験は、GPT 3.5 言語モデルでトレーニングされたバージョンの ChatGPT を使用して、2022 年 11 月に実施されました。 AIは与えられた20のタスクのうち17のタスクをなんとか解決し、成功率は94％でした。この割合は高いように思えるかもしれませんが、実際には ChatGPT は平均的な 9 歳児の割合と同等です。
ただし、このタイプのテストでは、以前の AI は ChatGPT よりも有効性がはるかに低いことが示されており、結論は非常に有望です。「私たちの結果は、最近の言語モデルが、人間の心の理論をテストするために広く使用されている古典的な誤った信念のタスクにおいて非常に高いパフォーマンスを達成していることを示しています。」、Michal Kosinski 氏は、GPT 3.5 モデルは大きな前進であると報告しています。
研究者はこう付け加えた「AI モデルがますます複雑になるため、AI モデルがどのように機能するかを理解し、その機能を設計から直接導き出すことができなくなります。」心理学者や神経科学者が人間の脳の研究で困難に直面しているように。 ChatGPT は、その高度な推論で驚かされることもありますが、単純なパズルに簡単に罠にはまってしまうこともあります。たとえば、次の問題には対処できません。
マイクの母親には 4 人の子供がいます。そのうちの3人はルイス、ドレイク、マチルダという名前です。 4人目の子供の名前は何ですか？
「さらなる情報がなければ、4人目の子供の名前を特定することはできません。」、ChatGPT オブジェクト。この質問には9歳の子供でも答えることができます。
ソース ：テックレーダー
