論文の概要: How is ChatGPT's behavior changing over time?

• arxiv url: http://arxiv.org/abs/2307.09009v3
• Date: Tue, 31 Oct 2023 16:13:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 23:00:53.507192
• Title: How is ChatGPT's behavior changing over time?
• Title（参考訳）: ChatGPTの行動は時間とともにどのように変化するのか?
• Authors: Lingjiao Chen and Matei Zaharia and James Zou
• Abstract要約: 2023年3月から6月にかけてのGPT-3.5およびGPT-4の評価を行った。 GPT-3.5とGPT-4の両方の性能と挙動は時間とともに大きく変化することがわかった。
• 参考スコア（独自算出の注目度）: 72.79311931941876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: GPT-3.5 and GPT-4 are the two most widely used large language model (LLM) services. However, when and how these models are updated over time is opaque. Here, we evaluate the March 2023 and June 2023 versions of GPT-3.5 and GPT-4 on several diverse tasks: 1) math problems, 2) sensitive/dangerous questions, 3) opinion surveys, 4) multi-hop knowledge-intensive questions, 5) generating code, 6) US Medical License tests, and 7) visual reasoning. We find that the performance and behavior of both GPT-3.5 and GPT-4 can vary greatly over time. For example, GPT-4 (March 2023) was reasonable at identifying prime vs. composite numbers (84% accuracy) but GPT-4 (June 2023) was poor on these same questions (51% accuracy). This is partly explained by a drop in GPT-4's amenity to follow chain-of-thought prompting. Interestingly, GPT-3.5 was much better in June than in March in this task. GPT-4 became less willing to answer sensitive questions and opinion survey questions in June than in March. GPT-4 performed better at multi-hop questions in June than in March, while GPT-3.5's performance dropped on this task. Both GPT-4 and GPT-3.5 had more formatting mistakes in code generation in June than in March. We provide evidence that GPT-4's ability to follow user instructions has decreased over time, which is one common factor behind the many behavior drifts. Overall, our findings show that the behavior of the "same" LLM service can change substantially in a relatively short amount of time, highlighting the need for continuous monitoring of LLMs.
• Abstract（参考訳）: GPT-3.5とGPT-4は2つの最も広く使われている大規模言語モデル(LLM)である。 しかし、これらのモデルがいつどのように更新されるかは不透明である。 ここでは, GPT-3.5 と GPT-4 の2023年3月版と6月版を多種多様なタスクで評価する。 1)数学の問題, 2)敏感で危険な質問 3) 意見調査 4)マルチホップ知識集約質問。 5) コードの生成。 6)米国の医療免許試験及び 7) 視覚的推論。 GPT-3.5とGPT-4の両方の性能と挙動は時間とともに大きく変化することがわかった。 例えば、GPT-4(2023年3月)は素数対合成数(84%の精度)を特定するのに適していたが、GPT-4(2023年6月)はこれらの同じ質問(51%の精度)では不十分であった。 これは部分的には、GPT-4のアメニティが減少し、思考の連鎖が進行するにつれて説明される。 興味深いことに、GPT-3.5は6月で3月よりずっと良かった。 GPT-4は6月に3月よりセンシティブな質問や世論調査への回答が少なくなった。 GPT-4は6月のマルチホップ問題では3月より優れていたが、GPT-3.5のパフォーマンスは低下した。 GPT-4とGPT-3.5は、コード生成のフォーマットミスが3月よりも多かった。 我々は,gpt-4がユーザ指示に従う能力が時間とともに低下していることを示す。 総じて, LLM サービスの動作は比較的短時間で大きく変化し, LLM の継続的モニタリングの必要性が浮き彫りになった。

関連論文リスト

• See What LLMs Cannot Answer: A Self-Challenge Framework for Uncovering LLM Weaknesses [51.975495361024606]
  本稿では,Human-in-the-loopを用いたセルフチェレンジ評価フレームワークを提案する。 GPT-4が答えられないシードインスタンスから始めて、GPT-4に新しいインスタンスを生成するのに使えるエラーパターンを要約するように促します。 次に,GPT-4が生成する1,835個のインスタンスと,人手によるゴールド応答を併用したベンチマーク,SC-G4を構築した。
  論文  参考訳（メタデータ） (2024-08-16T19:01:52Z)
• Are Large Language Models Strategic Decision Makers? A Study of Performance and Bias in Two-Player Non-Zero-Sum Games [56.70628673595041]
  大規模言語モデル (LLM) は現実世界での利用が増えているが、その戦略的意思決定能力はほとんど探索されていない。 本研究は,Stag Hunt と Prisoner Dilemma のカノニカルゲーム理論2人プレイヤ非ゼロサムゲームにおける LLM の性能とメリットについて検討する。 GPT-3.5, GPT-4-Turbo, GPT-4o, Llama-3-8Bの構造化評価は, これらのゲームにおいて決定を行う場合, 以下の系統的バイアスの少なくとも1つの影響を受けていることを示す。
  論文  参考訳（メタデータ） (2024-07-05T12:30:02Z)
• Generative AI for Enhancing Active Learning in Education: A Comparative Study of GPT-3.5 and GPT-4 in Crafting Customized Test Questions [2.0411082897313984]
  本研究では, LLM, 特に GPT-3.5 と GPT-4 が, グレード9の算数に適した質問をいかに展開できるかを検討する。 反復的手法を用いることで、これらのモデルは、シミュレーションされた「学生」モデルからのフィードバックに応じて、難易度と内容に基づいて質問を調整する。
  論文  参考訳（メタデータ） (2024-06-20T00:25:43Z)
• Behind the Screen: Investigating ChatGPT's Dark Personality Traits and Conspiracy Beliefs [0.0]
  本稿では, GPT-3.5 と GPT-4 の暗黒性格特性と陰謀信念を分析した。 ダークパーソナリティの特徴と陰謀の信念はどちらのモデルでも特に強調されなかった。
  論文  参考訳（メタデータ） (2024-02-06T16:03:57Z)
• GPT-4 Can't Reason [6.040938686276303]
  GPT-4は2023年3月に公開され、広く称賛された。 時折解析的輝きが増すが、現在のGPT-4は推論が全くできない。
  論文  参考訳（メタデータ） (2023-07-21T17:04:25Z)
• DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models [92.6951708781736]
  本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。 GPTモデルは、有害で偏りのある出力を生成し、個人情報を漏らすために、容易に誤解され得る。 我々の研究は、GPTモデルの総合的な信頼性評価を示し、信頼性のギャップに光を当てている。
  論文  参考訳（メタデータ） (2023-06-20T17:24:23Z)
• Is GPT-4 a Good Data Analyst? [67.35956981748699]
  我々は、GPT-4を、広範囲のドメインのデータベースでエンドツーエンドのデータ分析を行うためのデータ分析であると考えている。 我々は,複数の専門家データアナリストとGPT-4のパフォーマンスを体系的に比較するために,タスク固有の評価指標を設計する。 実験の結果, GPT-4はヒトに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-05-24T11:26:59Z)
• Gpt-4: A Review on Advancements and Opportunities in Natural Language Processing [0.0]
  Generative Pre-trained Transformer 4 (GPT-4) は、OpenAIが開発したGPTシリーズの第4世代言語モデルである。 GPT-4は、GPT-3よりもモデルサイズが大きく(1兆ドル以上)、多言語能力、文脈理解の改善、推論能力が優れている。 GPT-4の潜在的な応用には、チャットボット、パーソナルアシスタント、言語翻訳、テキスト要約、質問応答などがある。
  論文  参考訳（メタデータ） (2023-05-04T22:46:43Z)
• Sparks of Artificial General Intelligence: Early experiments with GPT-4 [66.1188263570629]
  OpenAIが開発したGPT-4は、前例のない規模の計算とデータを使って訓練された。 我々は, GPT-4が数学, コーディング, ビジョン, 医学, 法学, 心理学などにまたがる, 新規で困難な課題を解くことを実証した。 我々は、GPT-4を人工知能(AGI)システムの早期(まだ未完成)版と見なすことができると信じている。
  論文  参考訳（メタデータ） (2023-03-22T16:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。