ChatGPT はコード生成が予想よりはるかに悪く、アプリの半分が壊れています

ChatGPT の多くの要素の 1 つは開発に他なりません。最初は非常に印象的でしたが、最終的には非常に残念なことが判明しました。最近の調査によると、AI によって生成されたアプリケーションの少なくとも半数には、コードに重大な問題が含まれています。

ChatGPT が一般に公開されたとき、多くの人は、簡単なプロンプトだけでコードを生成できる AI を見て驚きました。開発者はすぐに、より迅速に作業できるアプリケーション、つまりプロジェクトのベースを作成できるようになりました。数か月後、小さな雲から降りる時が来ました。

米国のパデュー大学が実施した最近の調査では、開始プロンプトと比較した場合、ChatGPT によって生成されたアプリケーションの少なくとも半分には欠陥があることが示されています。これは、研究者らがチャットボットに 517 件のリクエストを送信し、正確性、一貫性、完全性、簡潔さなどのさまざまな角度から結果を分析した後に得られた結果です。

同じテーマについて –ChatGPTのおかげでMacを制御する危険なマルウェアが発見される

得られた結果の少なくとも 52% はこれらの基準に一致しませんでした。一部はユーザーのリクエストに正しく応答しましたが、研究者らは、応答の 77% が不必要に長かったため、開発者自身がコードを簡素化する必要があったと推定しています。それでは、時間を節約するにはあまり現実的ではありません。しかし、これは主に関係者にとって必ずしも悪いニュースではありません。

同じテーマについて —ChatGPT: OpenAI の上司、AI があなたの仕事を奪うことを認め、謝罪

実際、調査参加者の 40% は、たとえそれが間違っていたとしても、依然として ChatGPT の回答を好むと回答しました。言い換えれば、ツールによって得られる時間の節約は、後で修正する必要があるエラーをはるかに上回ります。特に、研究者らが説明しているように、エラーの大部分は、ChatGPT がプロンプトに含まれるニュアンスを把握できないことが原因であるためです。 GPT 5 はすでに準備中ですが、この問題はすぐに解決される可能性があります。

ソース ：ITプロ