論文の概要: Can You Follow Me? Testing Situational Understanding in ChatGPT

• arxiv url: http://arxiv.org/abs/2310.16135v1
• Date: Tue, 24 Oct 2023 19:22:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 18:28:43.991778
• Title: Can You Follow Me? Testing Situational Understanding in ChatGPT
• Title（参考訳）: あなたは私をフォローできますか。 ChatGPTにおける状況理解のテスト
• Authors: Chenghao Yang, Allyson Ettinger
• Abstract要約: situational understanding (SU)は、人間のようなAIエージェントにとって重要な能力である。 チャット指向モデルにおけるSUテストのための新しい合成環境を提案する。 タスクの基本的な単純さにもかかわらず、モデルの性能は正しい環境状態を維持することができないことを反映している。
• 参考スコア（独自算出の注目度）: 17.52769657390388
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding sentence meanings and updating information states appropriately across time -- what we call "situational understanding" (SU) -- is a critical ability for human-like AI agents. SU is essential in particular for chat models, such as ChatGPT, to enable consistent, coherent, and effective dialogue between humans and AI. Previous works have identified certain SU limitations in non-chatbot Large Language models (LLMs), but the extent and causes of these limitations are not well understood, and capabilities of current chat-based models in this domain have not been explored. In this work we tackle these questions, proposing a novel synthetic environment for SU testing which allows us to do controlled and systematic testing of SU in chat-oriented models, through assessment of models' ability to track and enumerate environment states. Our environment also allows for close analysis of dynamics of model performance, to better understand underlying causes for performance patterns. We apply our test to ChatGPT, the state-of-the-art chatbot, and find that despite the fundamental simplicity of the task, the model's performance reflects an inability to retain correct environment states across time. Our follow-up analyses suggest that performance degradation is largely because ChatGPT has non-persistent in-context memory (although it can access the full dialogue history) and it is susceptible to hallucinated updates -- including updates that artificially inflate accuracies. Our findings suggest overall that ChatGPT is not currently equipped for robust tracking of situation states, and that trust in the impressive dialogue performance of ChatGPT comes with risks. We release the codebase for reproducing our test environment, as well as all prompts and API responses from ChatGPT, at https://github.com/yangalan123/SituationalTesting.
• Abstract（参考訳）: 文の意味の理解と情報の更新は、私たちが“situational understanding(su)”と呼ぶ、人間のようなaiエージェントにとって重要な能力です。 特にチャットモデル、例えばChatGPTでは、人間とAIの一貫性、一貫性、効果的な対話を可能にするためにSUが不可欠である。 従来,非チャットボット大規模言語モデル(LLM)のSU制限は特定されてきたが,これらの制限の程度や原因はよく理解されておらず,現在のチャットベースモデルの性能については検討されていない。 本研究では,モデルが環境状態を追跡・列挙する能力を評価することによって,チャット指向モデルにおけるsuの制御および体系的なテストを可能にする,新しいsuテストのための合成環境を提案する。 私たちの環境はまた、パフォーマンスパターンの根本原因をより深く理解するために、モデルパフォーマンスのダイナミクスを綿密に分析することができます。 テストは最先端のチャットボットであるChatGPTに適用し、タスクの基本的な単純さにもかかわらず、モデルの性能は時間にわたって正しい環境状態を維持することができないことを反映している。 当社のフォローアップ分析によると、パフォーマンスの低下は、主にchatgptが(完全な対話履歴にアクセスできるが)永続的なインコンテキストメモリを持っているためであり、アキュラシーを人工的に膨らませるアップデートを含む幻覚的なアップデートの影響を受けやすいためである。 以上の結果から,ChatGPTは現状のロバストな追跡機能を備えていないことが示唆され,ChatGPTの優れた対話性能への信頼にはリスクが伴うことが示唆された。 テスト環境を再現するためのコードベースと、ChatGPTからのすべてのプロンプトとAPIレスポンスを、https://github.com/yangalan123/SituationalTestingでリリースしています。

関連論文リスト

• Evaluating ChatGPT as a Question Answering System: A Comprehensive Analysis and Comparison with Existing Models [0.0]
  本稿では,質問応答システム(QAS)としてのChatGPTについて検討する。 主な焦点は、提供された段落から回答を抽出する際のChatGPTの熟練度を評価することである。 評価では幻覚が強調され、ChatGPTは提供された文脈で回答が得られない質問に対して応答を提供する。
  論文  参考訳（メタデータ） (2023-12-11T08:49:18Z)
• Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
  我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。 注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。 以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
  論文  参考訳（メタデータ） (2023-11-11T11:01:13Z)
• Leveraging Large Language Models for Automated Dialogue Analysis [12.116834890063146]
  本稿では,現在最先端の大規模言語モデル(LLM)であるChatGPT-3.5を用いて,実際のロボット対話における9つのカテゴリの対話行動検出を行う。 以上の結果から, 特殊モデルもChatGPTもこの課題に満足できない結果が得られず, 人的性能に乏しいことが判明した。
  論文  参考訳（メタデータ） (2023-09-12T18:03:55Z)
• ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time [54.18651663847874]
  ChatGPTは大きな成功をおさめ、インフラ的な地位を得たと考えられる。 既存のベンチマークでは,(1)周期的評価の無視,(2)きめ細かい特徴の欠如という2つの課題に直面する。 2023年3月から現在まで,21のNLPベンチマークに対して,さまざまな長文ChatGPT応答を大規模に記録した常時更新データセットであるChatLogを構築している。
  論文  参考訳（メタデータ） (2023-04-27T11:33:48Z)
• ChatGPT-Crawler: Find out if ChatGPT really knows what it's talking about [15.19126287569545]
  本研究では,異なる対話型QAコーパスからChatGPTが生成する応答について検討する。 この研究はBERT類似度スコアを用いて、これらの回答を正しい回答と比較し、自然言語推論(NLI)ラベルを得る。 調査では、ChatGPTが質問に対する誤った回答を提供し、モデルがエラーを起こしやすい領域について洞察を与えている事例を特定した。
  論文  参考訳（メタデータ） (2023-04-06T18:42:47Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)
• On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective [67.98821225810204]
  本研究は,ChatGPTの頑健性について,敵対的視点とアウト・オブ・ディストリビューションの観点から評価する。 その結果,ほとんどの対人・OOD分類・翻訳作業において一貫した優位性を示した。 ChatGPTは対話関連テキストの理解において驚くべきパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-02-22T11:01:20Z)
• Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT [103.57103957631067]
  チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。 そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。 2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2023-02-19T12:29:33Z)
• Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。 近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。 ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
  論文  参考訳（メタデータ） (2023-02-08T09:44:51Z)
• How would Stance Detection Techniques Evolve after the Launch of ChatGPT? [5.756359016880821]
  2022年11月30日、新しい訓練済み言語モデルであるchatGPTが発売された。 ChatGPTは、SemEval-2016やP-Stanceといった一般的なデータセットに対して、SOTAまたは同様のパフォーマンスを達成することができる。 ChatGPTは、NLPのスタンス検出タスクにおいて、最高のAIモデルになる可能性がある。
  論文  参考訳（メタデータ） (2022-12-30T05:03:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。