論文の概要: QAMPARI: : An Open-domain Question Answering Benchmark for Questions with Many Answers from Multiple Paragraphs

• arxiv url: http://arxiv.org/abs/2205.12665v2
• Date: Thu, 26 May 2022 15:07:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 11:09:31.985566
• Title: QAMPARI: : An Open-domain Question Answering Benchmark for Questions with Many Answers from Multiple Paragraphs
• Title（参考訳）: qampari:複数段落からの回答が多い質問に対するオープンドメイン質問応答ベンチマーク
• Authors: Samuel Joseph Amouyal, Ohad Rubin, Ori Yoran, Tomer Wolfson, Jonathan Herzig, Jonathan Berant
• Abstract要約: 本稿では,質問応答がエンティティのリストであるODQAベンチマークであるQAMPARIを紹介する。 我々は、(a)ウィキペディアの知識グラフと表から複数の回答で質問を生成することによりQAMPARIを作成し、(b)ウィキペディアの段落で裏付ける証拠と自動的に回答をペアリングし、(c)質問を手動で言い換え、各回答を検証することで、QAMPARIを作成する。 我々は、検索・読解系からODQAモデルを訓練し、QAMPARIは経路検索と解答生成の両方の観点から困難であり、最高26.6のF1スコアに達する。
• 参考スコア（独自算出の注目度）: 42.843866049949206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing benchmarks for open-domain question answering (ODQA) typically focus on questions whose answers can be extracted from a single paragraph. By contrast, many natural questions, such as "What players were drafted by the Brooklyn Nets?" have a list of answers. Answering such questions requires retrieving and reading from many passages, in a large corpus. We introduce QAMPARI, an ODQA benchmark, where question answers are lists of entities, spread across many paragraphs. We created QAMPARI by (a) generating questions with multiple answers from Wikipedia's knowledge graph and tables, (b) automatically pairing answers with supporting evidence in Wikipedia paragraphs, and (c) manually paraphrasing questions and validating each answer. We train ODQA models from the retrieve-and-read family and find that QAMPARI is challenging in terms of both passage retrieval and answer generation, reaching an F1 score of 26.6 at best. Our results highlight the need for developing ODQA models that handle a broad range of question types, including single and multi-answer questions.
• Abstract（参考訳）: オープンドメイン質問応答(ODQA)の既存のベンチマークは、通常、1段落から回答を抽出できる質問に焦点を当てる。 対照的に、「ブルックリン・ネッツによってどの選手がドラフトされたか」のような多くの自然な質問は回答のリストを持っている。 このような質問に答えるには、大きなコーパスで、多くの節から検索し、読み取る必要がある。 本稿では,質問応答がエンティティのリストであるODQAベンチマークであるQAMPARIを紹介する。 私たちはQAMPARIを作りました。 (a)ウィキペディアの知識グラフと表から複数の回答で質問を生成する。 b) ウィキペディアの段落において,回答と証拠とを自動でペアリングし, (c) 質問を手動で言い換えて各回答を検証する。 我々は、検索・読解系からODQAモデルを訓練し、QAMPARIは経路検索と解答生成の両方の観点から困難であり、最高26.6のF1スコアに達する。 この結果から,単問,複数問,多問など幅広い質問タイプを扱うODQAモデルの開発の必要性が示唆された。

関連論文リスト

• PCoQA: Persian Conversational Question Answering Dataset [12.07607688189035]
  PCoQAデータセットは、9,026のコンテキスト駆動質問を含む情報検索ダイアログを含むリソースである。 PCoQAは、以前の質問応答データセットと比較して、新しい課題を示すように設計されている。 本稿では,PCoQAデータセットを包括的に提示するだけでなく,各種ベンチマークモデルの性能も報告する。
  論文  参考訳（メタデータ） (2023-12-07T15:29:34Z)
• Long-form Question Answering: An Iterative Planning-Retrieval-Generation Approach [28.849548176802262]
  長文質問応答(LFQA)は,段落の形で詳細な回答を生成するため,課題となる。 本稿では,反復計画,検索,生成を伴うLFQAモデルを提案する。 我々のモデルはLFQAタスクの様々なテキストおよび実測値の最先端モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-15T21:22:27Z)
• Answering Ambiguous Questions with a Database of Questions, Answers, and Revisions [95.92276099234344]
  ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。 提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
  論文  参考訳（メタデータ） (2023-08-16T20:23:16Z)
• Discourse Comprehension: A Question Answering Framework to Represent Sentence Connections [35.005593397252746]
  談話理解のためのモデルの構築と評価における重要な課題は、注釈付きデータの欠如である。 本稿では,ニュース文書の理解を目的としたスケーラブルなデータ収集を実現する新しいパラダイムを提案する。 得られたコーパスDCQAは、607の英語文書からなる22,430の質問応答ペアで構成されている。
  論文  参考訳（メタデータ） (2021-11-01T04:50:26Z)
• ConditionalQA: A Complex Reading Comprehension Dataset with Conditional Answers [93.55268936974971]
  条件付き回答を含む複雑な質問を含む質問回答データセットについて述べる。 このデータセットを ConditionalQA と呼びます。 本稿では,既存のQAモデルの多く,特に回答条件の選択において,ConditionalQAは困難であることを示す。
  論文  参考訳（メタデータ） (2021-10-13T17:16:46Z)
• GooAQ: Open Question Answering with Diverse Answer Types [63.06454855313667]
  さまざまな回答型を持つ大規模データセットであるGooAQを紹介する。 このデータセットには500万の質問と300万の回答が含まれている。
  論文  参考訳（メタデータ） (2021-04-18T05:40:39Z)
• Answering Any-hop Open-domain Questions with Iterative Document Reranking [62.76025579681472]
  オープンドメインの問に答える統合QAフレームワークを提案する。 提案手法は,シングルホップおよびマルチホップのオープンドメインQAデータセットにおいて,最先端技術に匹敵する性能を継続的に達成する。
  論文  参考訳（メタデータ） (2020-09-16T04:31:38Z)
• Unsupervised Question Decomposition for Question Answering [102.56966847404287]
  本論文では, ワンツーNアン教師付きシーケンスシーケンス(ONUS)のアルゴリズムを提案する。 当初,ドメイン外,マルチホップ開発セットのベースラインが強かったため,HotpotQAでは大きなQA改善が見られた。
  論文  参考訳（メタデータ） (2020-02-22T19:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。