論文の概要: How is ChatGPT's behavior changing over time?

• arxiv url: http://arxiv.org/abs/2307.09009v1
• Date: Tue, 18 Jul 2023 06:56:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 16:14:18.622948
• Title: How is ChatGPT's behavior changing over time?
• Title（参考訳）: ChatGPTの行動は時間とともにどのように変化するのか?
• Authors: Lingjiao Chen and Matei Zaharia and James Zou
• Abstract要約: 2023年3月から6月にかけてのGPT-3.5およびGPT-4の評価を行った。 GPT-3.5とGPT-4の両方の性能と挙動は時間とともに大きく変化することがわかった。
• 参考スコア（独自算出の注目度）: 36.94826820536239
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: GPT-3.5 and GPT-4 are the two most widely used large language model (LLM) services. However, when and how these models are updated over time is opaque. Here, we evaluate the March 2023 and June 2023 versions of GPT-3.5 and GPT-4 on four diverse tasks: 1) solving math problems, 2) answering sensitive/dangerous questions, 3) generating code and 4) visual reasoning. We find that the performance and behavior of both GPT-3.5 and GPT-4 can vary greatly over time. For example, GPT-4 (March 2023) was very good at identifying prime numbers (accuracy 97.6%) but GPT-4 (June 2023) was very poor on these same questions (accuracy 2.4%). Interestingly GPT-3.5 (June 2023) was much better than GPT-3.5 (March 2023) in this task. GPT-4 was less willing to answer sensitive questions in June than in March, and both GPT-4 and GPT-3.5 had more formatting mistakes in code generation in June than in March. Overall, our findings shows that the behavior of the same LLM service can change substantially in a relatively short amount of time, highlighting the need for continuous monitoring of LLM quality.
• Abstract（参考訳）: GPT-3.5とGPT-4は2つの最も広く使われている大規模言語モデル(LLM)である。 しかし、これらのモデルがいつどのように更新されるかは不透明である。 ここでは,GPT-3.5とGPT-4の2023年3月および2023年6月版を4つのタスクで評価する。 1)数学の問題を解く。 2)敏感で危険な質問に答えること。 3) コードの生成と 4) 視覚的推論。 GPT-3.5とGPT-4の両方の性能と挙動は時間とともに大きく変化することがわかった。 例えば、GPT-4(2023年3月)は素数(精度97.6%)の同定に非常に優れていたが、GPT-4(2023年6月)はこれらの同じ質問(精度2.4%)で非常に貧弱であった。 興味深いことに GPT-3.5 (2023年6月) は GPT-3.5 (2023年3月) よりもはるかに優れていた。 GPT-4は3月よりセンシティブな質問に答える意思が低く、GPT-4とGPT-3.5は3月よりコード生成のフォーマットミスが多かった。 以上の結果から,LLMサービスの動作は比較的短時間で大幅に変化し,LLM品質の継続的なモニタリングの必要性が示唆された。

関連論文リスト

• See What LLMs Cannot Answer: A Self-Challenge Framework for Uncovering LLM Weaknesses [51.975495361024606]
  本稿では,Human-in-the-loopを用いたセルフチェレンジ評価フレームワークを提案する。 GPT-4が答えられないシードインスタンスから始めて、GPT-4に新しいインスタンスを生成するのに使えるエラーパターンを要約するように促します。 次に,GPT-4が生成する1,835個のインスタンスと,人手によるゴールド応答を併用したベンチマーク,SC-G4を構築した。
  論文  参考訳（メタデータ） (2024-08-16T19:01:52Z)
• Are Large Language Models Strategic Decision Makers? A Study of Performance and Bias in Two-Player Non-Zero-Sum Games [56.70628673595041]
  大規模言語モデル (LLM) は現実世界での利用が増えているが、その戦略的意思決定能力はほとんど探索されていない。 本研究は,Stag Hunt と Prisoner Dilemma のカノニカルゲーム理論2人プレイヤ非ゼロサムゲームにおける LLM の性能とメリットについて検討する。 GPT-3.5, GPT-4-Turbo, GPT-4o, Llama-3-8Bの構造化評価は, これらのゲームにおいて決定を行う場合, 以下の系統的バイアスの少なくとも1つの影響を受けていることを示す。
  論文  参考訳（メタデータ） (2024-07-05T12:30:02Z)
• Generative AI for Enhancing Active Learning in Education: A Comparative Study of GPT-3.5 and GPT-4 in Crafting Customized Test Questions [2.0411082897313984]
  本研究では, LLM, 特に GPT-3.5 と GPT-4 が, グレード9の算数に適した質問をいかに展開できるかを検討する。 反復的手法を用いることで、これらのモデルは、シミュレーションされた「学生」モデルからのフィードバックに応じて、難易度と内容に基づいて質問を調整する。
  論文  参考訳（メタデータ） (2024-06-20T00:25:43Z)
• Behind the Screen: Investigating ChatGPT's Dark Personality Traits and Conspiracy Beliefs [0.0]
  本稿では, GPT-3.5 と GPT-4 の暗黒性格特性と陰謀信念を分析した。 ダークパーソナリティの特徴と陰謀の信念はどちらのモデルでも特に強調されなかった。
  論文  参考訳（メタデータ） (2024-02-06T16:03:57Z)
• GPT-4 Can't Reason [6.040938686276303]
  GPT-4は2023年3月に公開され、広く称賛された。 時折解析的輝きが増すが、現在のGPT-4は推論が全くできない。
  論文  参考訳（メタデータ） (2023-07-21T17:04:25Z)
• DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models [92.6951708781736]
  本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。 GPTモデルは、有害で偏りのある出力を生成し、個人情報を漏らすために、容易に誤解され得る。 我々の研究は、GPTモデルの総合的な信頼性評価を示し、信頼性のギャップに光を当てている。
  論文  参考訳（メタデータ） (2023-06-20T17:24:23Z)
• Is GPT-4 a Good Data Analyst? [67.35956981748699]
  我々は、GPT-4を、広範囲のドメインのデータベースでエンドツーエンドのデータ分析を行うためのデータ分析であると考えている。 我々は,複数の専門家データアナリストとGPT-4のパフォーマンスを体系的に比較するために,タスク固有の評価指標を設計する。 実験の結果, GPT-4はヒトに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-05-24T11:26:59Z)
• Gpt-4: A Review on Advancements and Opportunities in Natural Language Processing [0.0]
  Generative Pre-trained Transformer 4 (GPT-4) は、OpenAIが開発したGPTシリーズの第4世代言語モデルである。 GPT-4は、GPT-3よりもモデルサイズが大きく(1兆ドル以上)、多言語能力、文脈理解の改善、推論能力が優れている。 GPT-4の潜在的な応用には、チャットボット、パーソナルアシスタント、言語翻訳、テキスト要約、質問応答などがある。
  論文  参考訳（メタデータ） (2023-05-04T22:46:43Z)
• Sparks of Artificial General Intelligence: Early experiments with GPT-4 [66.1188263570629]
  OpenAIが開発したGPT-4は、前例のない規模の計算とデータを使って訓練された。 我々は, GPT-4が数学, コーディング, ビジョン, 医学, 法学, 心理学などにまたがる, 新規で困難な課題を解くことを実証した。 我々は、GPT-4を人工知能(AGI)システムの早期(まだ未完成)版と見なすことができると信じている。
  論文  参考訳（メタデータ） (2023-03-22T16:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。