GPT-4のパフォーマンスが低下して精度が落ちてしまったことの詳細

GPT-4のパフォーマンスが低下して精度が落ちた

《気になる》

GPT-4のパフォーマンスが低下しているという報告が増えているらしい

Evaluationが、GPT-4の6月版→3月版で、97.6%z→2.4%に低下しているという調査も。

▼概要
▸GPT-4のパフォーマンスが低下しているとの報告が増加… pic.twitter.com/CpJ9XJ0VEJ

— 木内翔大｜GMO他複数社のAI顧問「日本をAI先進国に」 (@shota7180) July 20, 2023

【今話題のGPT-4劣化問題について】

○なんの話？
・GPT-4が2023年3月と6月と比較して、同じ質問しているのに精度が落ちたという論文が公開された

○質問内容
・数学問題（素数関連）
・繊細な質問への回答
・コード生成
・視覚的推論

○結論
・一部のタスクの精度低下=LLMの劣化という話でない… pic.twitter.com/t6kea8cnzp

— チャエン | 重要AIニュースを毎日発信⚡️ (@masahirochaen) July 20, 2023

この記事良かったので、全文翻訳＋編集してみました
（https://t.co/8B504GHEVq）

＜＜GPT-4は時間とともに劣化しているのか？＞＞

1. 序論

新たに広まっている論文が、GPT-4がリリース以降に劣化したと解釈されています。しかし、これは論文が見つけたことを大幅に単純化したものです。

2.… pic.twitter.com/JXNcU7b9sG

— チャエン | 重要AIニュースを毎日発信⚡️ (@masahirochaen) July 20, 2023

>>詳細はこちら

ホームページ制作はAIではなくプロにお任せ

ChatGPTのようなAI技術は急速に進歩しています。

しかし、ホームページ制作においてAIをプロレベルで実用化できるまでは時間がかかそうです。

AIを使用した制作物は著作権の問題もクリアになっておらず訴訟のリスクもあります。

現時点でのホームページ制作は信頼ができるプロの制作会社に依頼しましょう！

ホームページ製作0円から！【サクペジ】

忙しい時間帯の顧客対応を効率化【ホームページDX】

GPT-4についてまとめ

• ・現状ChatGPT Plusで利用可能（月額料金は20米ドル）
• ・画像入力対応
• ・司法試験を受けたら上位10%のレベル
• ・ジョークを理解できる
• ・嘘をつく可能性低下
• ・日本語でも高精度な対応
• ・25,000語を1つのプロンプト内で処理可能
• ・マルチモーダルAI（画像＋テキストからテキスト生成可能）

ChatGPT（チャットGPT）はOpenAIが2022年11月に公開したチャットボットです。OpenAIのGPT-3ファミリーの言語モデルを基に構築されており、リアルな会話文を生成することが可能です。

会話だけでなくマークアップ言語のHTMLやPythonのようなプログラミング言語の生成も可能です。また、表計算ソフトの関数も得意としています。

GPT-4のパフォーマンスが低下して精度が落ちたことへの反応

精度が今ひとつだったので、思わずあなたGPT3ですか？4ですか？と聞きました…

最近、質問の回答精度が落ちたと感じていました。

結構、この精度が落ちたことを実感している人も少なくなさそうですね

cha GTP 6月版のパフォーマンスが3月版に比べてめちゃくちゃ低下してるという報告。マジ、それや。6月版あまりに馬鹿なんよ。3月版は感動だったのに最近は怒りしかなかったりする。

GPT-4のパフォーマンスが低下しているという報告が増えているらしい。

gpt4の利用上限が緩和されたけど、その分モデルの精度ちょっと落ちた？のか。chunksizeとかoverlapとか微調整したんかな。

それ思ってた！！

GPT-4で最近思うのは似たような質問でも反応が早いときは履歴もしっかり反映した回答で、逆に反応が遅いときは履歴ガン無視かつ明後日の方向の回答してくる🤔そのときのリソースの使用率に関係してるのでは。人間も一度にやること多すぎると集中できなくて思考力が落ちますし。

最近明らかにGPT-4が軽いのはインフラ増強で説明つくとして、Safetyが明らかに強く働いているのが気になる。

AIコントロールするのってやっぱ難しいんなあ。

引用元：Twitter