論文の概要: Evaluation of Question Answering Systems: Complexity of judging a natural language

• arxiv url: http://arxiv.org/abs/2209.12617v1
• Date: Sat, 10 Sep 2022 12:29:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 23:40:04.223979
• Title: Evaluation of Question Answering Systems: Complexity of judging a natural language
• Title（参考訳）: 質問応答システムの評価:自然言語判定の複雑さ
• Authors: Amer Farea, Zhen Yang, Kien Duong, Nadeesha Perera, and Frank Emmert-Streib
• Abstract要約: 質問応答システム(QA)は、自然言語処理(NLP)において最も重要かつ急速に発展している研究課題の一つである。 本調査では,QAの枠組み,QAパラダイム,ベンチマークデータセット,およびQAシステムの定量的評価のための評価手法の体系的概要について述べる。
• 参考スコア（独自算出の注目度）: 3.4771957347698583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Question answering (QA) systems are among the most important and rapidly developing research topics in natural language processing (NLP). A reason, therefore, is that a QA system allows humans to interact more naturally with a machine, e.g., via a virtual assistant or search engine. In the last decades, many QA systems have been proposed to address the requirements of different question-answering tasks. Furthermore, many error scores have been introduced, e.g., based on n-gram matching, word embeddings, or contextual embeddings to measure the performance of a QA system. This survey attempts to provide a systematic overview of the general framework of QA, QA paradigms, benchmark datasets, and assessment techniques for a quantitative evaluation of QA systems. The latter is particularly important because not only is the construction of a QA system complex but also its evaluation. We hypothesize that a reason, therefore, is that the quantitative formalization of human judgment is an open problem.
• Abstract（参考訳）: 質問応答(QA)システムは、自然言語処理(NLP)において最も重要かつ急速に発展している研究トピックの一つである。 そのため、QAシステムは、例えば仮想アシスタントや検索エンジンを介して、人間が機械とより自然に対話できるためである。 過去数十年間、様々な質問応答タスクの要求に対応するために多くのQAシステムが提案されてきた。 さらに、例えば、QAシステムの性能を測定するために、n-gramマッチング、単語埋め込み、文脈埋め込みに基づいて多くのエラースコアが導入された。 本調査では,QAの枠組み,QAパラダイム,ベンチマークデータセット,およびQAシステムの定量的評価のための評価手法の体系的概要を提供する。 後者は特に重要であり、QAシステム複合体の構築だけでなく、その評価も重要である。 したがって、人間の判断の定量的な形式化はオープンな問題である、という仮説を立てる。

関連論文リスト

• A Joint-Reasoning based Disease Q&A System [6.117758142183177]
  医療質問応答(QA)アシスタントは、複数のソースから情報を合成することで、レイユーザーの健康関連クエリに応答する。 彼らは、誤った情報、情報過負荷、医療言語の複雑さの問題を緩和するための重要なツールとして機能する。
  論文  参考訳（メタデータ） (2024-01-06T09:55:22Z)
• QUDEVAL: The Evaluation of Questions Under Discussion Discourse Parsing [87.20804165014387]
  Questions Under discussions (QUD) は、言論を継続的に質問し、答えるように進行する多目的言語フレームワークである。 本研究はQUD解析の自動評価のための最初のフレームワークを紹介する。 細調整されたシステムとLLMの両方から生成された2,190のQUD質問のきめ細かい評価データセットであるQUDevalを提案する。
  論文  参考訳（メタデータ） (2023-10-23T03:03:58Z)
• SQUARE: Automatic Question Answering Evaluation using Multiple Positive and Negative References [73.67707138779245]
  SQuArE (Sentence-level QUestion AnsweRing Evaluation) という新しい評価指標を提案する。 文レベルの抽出(回答選択)と生成(GenQA)の両方のQAシステムでSQuArEを評価する。
  論文  参考訳（メタデータ） (2023-09-21T16:51:30Z)
• ProQA: Structural Prompt-based Pre-training for Unified Question Answering [84.59636806421204]
  ProQAは統一されたQAパラダイムであり、単一のモデルによって様々なタスクを解決する。 全てのQAタスクの知識一般化を同時にモデル化し、特定のQAタスクの知識カスタマイズを維持します。 ProQAは、フルデータの微調整、数ショットの学習、ゼロショットテストシナリオの両方のパフォーマンスを一貫して向上させる。
  論文  参考訳（メタデータ） (2022-05-09T04:59:26Z)
• Improving the Question Answering Quality using Answer Candidate Filtering based on Natural-Language Features [117.44028458220427]
  本稿では,質問応答(QA)の品質をいかに改善できるかという課題に対処する。 私たちの主な貢献は、QAシステムが提供する間違った回答を識別できるアプローチです。 特に,提案手法は誤答の大部分を除去しつつ,その可能性を示した。
  論文  参考訳（メタデータ） (2021-12-10T11:09:44Z)
• NoiseQA: Challenge Set Evaluation for User-Centric Question Answering [68.67783808426292]
  応答エンジンに先立つパイプライン内のコンポーネントが,多種多様なエラーの原因を発生させることができることを示す。 我々は、QAシステムが効果的にデプロイされる前に、進歩の余地がかなりあると結論付けている。
  論文  参考訳（メタデータ） (2021-02-16T18:35:29Z)
• Retrieving and Reading: A Comprehensive Survey on Open-domain Question Answering [62.88322725956294]
  OpenQAの最近の研究動向を概観し、特にニューラルMSC技術を導入したシステムに注目した。 Retriever-Reader' と呼ばれる最新の OpenQA アーキテクチャを導入し、このアーキテクチャに従うさまざまなシステムを分析します。 次に、OpenQAシステムの開発における主要な課題について議論し、一般的に使用されるベンチマークの分析を提供する。
  論文  参考訳（メタデータ） (2021-01-04T04:47:46Z)
• QA2Explanation: Generating and Evaluating Explanations for Question Answering Systems over Knowledge Graph [4.651476054353298]
  パイプラインベースのQAシステムの様々な段階における説明を生成するための自動アプローチを開発する。 我々のアプローチは教師付きかつ自動的なアプローチであり、関連するQAコンポーネントの出力を注釈付けするための3つのクラス(成功、答えなし、間違った回答)を考える。
  論文  参考訳（メタデータ） (2020-10-16T11:32:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。