論文の概要: Evaluation of ChatGPT as a Question Answering System for Answering Complex Questions

• arxiv url: http://arxiv.org/abs/2303.07992v1
• Date: Tue, 14 Mar 2023 15:46:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 14:24:37.794916
• Title: Evaluation of ChatGPT as a Question Answering System for Answering Complex Questions
• Title（参考訳）: 質問応答システムとしてのChatGPTの評価
• Authors: Yiming Tan, Dehai Min, Yu Li, Wenbo Li, Nan Hu, Yongrui Chen, Guilin Qi
• Abstract要約: ChatGPTは強力な大規模言語モデル(LLM)であり、自然言語理解において顕著な進歩を遂げている。 本稿では,質問応答システム(QAS)としてのChatGPTの性能を,独自の知識を用いて評価するフレームワークを提案する。 提案手法を用いて,8つの実世界のKBベースのCQAデータセットに対して,ChatGPTの性能評価を行う。
• 参考スコア（独自算出の注目度）: 27.29278260747453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: ChatGPT is a powerful large language model (LLM) that has made remarkable progress in natural language understanding. Nevertheless, the performance and limitations of the model still need to be extensively evaluated. As ChatGPT covers resources such as Wikipedia and supports natural language question answering, it has garnered attention as a potential replacement for traditional knowledge based question answering (KBQA) models. Complex question answering is a challenge task of KBQA, which comprehensively tests the ability of models in semantic parsing and reasoning. To assess the performance of ChatGPT as a question answering system (QAS) using its own knowledge, we present a framework that evaluates its ability to answer complex questions. Our approach involves categorizing the potential features of complex questions and describing each test question with multiple labels to identify combinatorial reasoning. Following the black-box testing specifications of CheckList proposed by Ribeiro et.al, we develop an evaluation method to measure the functionality and reliability of ChatGPT in reasoning for answering complex questions. We use the proposed framework to evaluate the performance of ChatGPT in question answering on 8 real-world KB-based CQA datasets, including 6 English and 2 multilingual datasets, with a total of approximately 190,000 test cases. We compare the evaluation results of ChatGPT, GPT-3.5, GPT-3, and FLAN-T5 to identify common long-term problems in LLMs. The dataset and code are available at https://github.com/tan92hl/Complex-Question-Answering-Evaluation-of-ChatGPT.
• Abstract（参考訳）: ChatGPTは強力な大規模言語モデル(LLM)であり、自然言語理解において顕著な進歩を遂げている。 それでも、モデルの性能と限界を広く評価する必要がある。 ChatGPTはWikipediaなどのリソースをカバーし、自然言語による質問応答をサポートするため、従来の知識に基づく質問応答(KBQA)モデルの代替として注目されている。 複雑な質問応答はKBQAの課題であり、意味解析と推論におけるモデルの能力を包括的にテストする。 質問応答システム(QAS)としてのChatGPTの性能を自身の知識で評価するために,複雑な質問に答える能力を評価する枠組みを提案する。 我々のアプローチでは、複雑な質問の潜在的な特徴を分類し、各テスト質問を複数のラベルで記述し、組合せ推論を識別する。 Ribeiroらによって提案されたCheckListのブラックボックステスト仕様に従い、複雑な質問に答えるためにChatGPTの機能と信頼性を評価する評価手法を開発した。 提案手法を用いて、約190,000のテストケースを含む6つの実世界のKBベースのCQAデータセットに対して、ChatGPTの性能を評価する。 LLMの長期的問題を特定するため,ChatGPT,GPT-3.5,GPT-3,FLAN-T5の評価結果を比較した。 データセットとコードはhttps://github.com/tan92hl/complex-Question-Answering-Evaluation-of-ChatGPTで公開されている。

関連論文リスト

• FanOutQA: A Multi-Hop, Multi-Document Question Answering Benchmark for Large Language Models [37.34801677290571]
  FanOutQA(ファンアウトQA)は、ウィキペディアによる高品質な質問応答ペアと人間による注釈付き分解のデータセットである。 GPT-4、LLaMA 2、Claude-2.1、Mixtral-8x7Bを含む、データセットとベンチマーク7 LLMの3つのベンチマーク設定を定式化します。
  論文  参考訳（メタデータ） (2024-02-21T20:30:45Z)
• Evaluating ChatGPT as a Question Answering System: A Comprehensive Analysis and Comparison with Existing Models [0.0]
  本稿では,質問応答システム(QAS)としてのChatGPTについて検討する。 主な焦点は、提供された段落から回答を抽出する際のChatGPTの熟練度を評価することである。 評価では幻覚が強調され、ChatGPTは提供された文脈で回答が得られない質問に対して応答を提供する。
  論文  参考訳（メタデータ） (2023-12-11T08:49:18Z)
• In-Context Learning for Knowledge Base Question Answering for Unmanned Systems based on Large Language Models [43.642717344626355]
  我々は,無人システムにおける知識グラフ推論を用いた質問回答コンペティション(CCKS2023)に注目した。 多くのQAタスクにおいてChatGPTやGPT-3のような大規模言語モデル(LLM)が最近成功したことに触発されて、ChatGPTベースのCypher Query Language(CQL)生成フレームワークを提案する。 当社のChatGPTベースのCQL生成フレームワークは、Unmanned Systemsコンペティションのための知識グラフ推論によるCCKS 2023質問回答において、第2位を獲得しました。
  論文  参考訳（メタデータ） (2023-11-06T08:52:11Z)
• Systematic Assessment of Factual Knowledge in Large Language Models [48.75961313441549]
  本稿では,知識グラフ(KG)を活用して,大規模言語モデル(LLM)の事実知識を評価する枠組みを提案する。 本フレームワークは,所定のKGに格納された事実から質問の集合と期待された回答を自動的に生成し,これらの質問に答える際のLCMの精度を評価する。
  論文  参考訳（メタデータ） (2023-10-18T00:20:50Z)
• Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
  ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか? LLMの事実知識を評価する統計的手法であるKaRRを提案する。 この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
  論文  参考訳（メタデータ） (2023-05-17T18:54:37Z)
• Cross-Lingual Question Answering over Knowledge Base as Reading Comprehension [61.079852289005025]
  知識ベース(xKBQA)に対する言語間質問応答は、提供された知識ベースとは異なる言語での質問に答えることを目的としている。 xKBQAが直面する大きな課題の1つは、データアノテーションのコストが高いことである。 読解パラダイムにおけるxKBQAの新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-26T05:52:52Z)
• A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity [79.12003701981092]
  8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。 これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。 ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
  論文  参考訳（メタデータ） (2023-02-08T12:35:34Z)
• Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。 近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。 ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
  論文  参考訳（メタデータ） (2023-02-08T09:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。