論文の概要: Tackling Multi-Answer Open-Domain Questions via a Recall-then-Verify Framework

• arxiv url: http://arxiv.org/abs/2110.08544v1
• Date: Sat, 16 Oct 2021 10:48:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 15:59:27.878829
• Title: Tackling Multi-Answer Open-Domain Questions via a Recall-then-Verify Framework
• Title（参考訳）: recall-then-verifyフレームワークによるマルチアンワーオープンドメイン問題への取り組み
• Authors: Zhihong Shao and Minlie Huang
• Abstract要約: オープンドメインの質問は、オープンで曖昧であり、複数の有効な答えをもたらす可能性が高い。 既存のアプローチでは、読者が上位のエビデンスを読んで答えを予測する、rerank-then-readフレームワークが一般的である。 本フレームワークは,2つの複数問合せデータセットに対して,新たな最先端結果を実現し,オラクルリランカを用いた再読解システムよりもはるかに多くのゴールド回答を予測した。
• 参考スコア（独自算出の注目度）: 38.807388762378444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open domain questions are likely to be open-ended and ambiguous, leading to multiple valid answers. Existing approaches typically adopt the rerank-then-read framework, where a reader reads top-ranking evidence to predict answers. According to our empirical analyses, this framework is faced with three problems: to leverage the power of a large reader, the reranker is forced to select only a few relevant passages that cover diverse answers, which is non-trivial due to unknown effect on the reader's performance; the small reading budget also prevents the reader from making use of valuable retrieved evidence filtered out by the reranker; besides, as the reader generates predictions all at once based on all selected evidence, it may learn pathological dependencies among answers, i.e., whether to predict an answer may also depend on evidence of the other answers. To avoid these problems, we propose to tackle multi-answer open-domain questions with a recall-then-verify framework, which separates the reasoning process of each answer so that we can make better use of retrieved evidence while also leveraging the power of large models under the same memory constraint. Our framework achieves new state-of-the-art results on two multi-answer datasets, and predicts significantly more gold answers than a rerank-then-read system with an oracle reranker.
• Abstract（参考訳）: オープンドメインの質問はオープンで曖昧であり、複数の有効な答えをもたらす。 既存のアプローチでは、読者が上位のエビデンスを読んで答えを予測する、rerank-then-readフレームワークが一般的である。 According to our empirical analyses, this framework is faced with three problems: to leverage the power of a large reader, the reranker is forced to select only a few relevant passages that cover diverse answers, which is non-trivial due to unknown effect on the reader's performance; the small reading budget also prevents the reader from making use of valuable retrieved evidence filtered out by the reranker; besides, as the reader generates predictions all at once based on all selected evidence, it may learn pathological dependencies among answers, i.e., whether to predict an answer may also depend on evidence of the other answers. これらの問題を回避するため,我々は,検索された証拠をよりよく活用し,同じメモリ制約下での大規模モデルのパワーを活用できるように,各回答の推論プロセスを分離したリコール・then-verifyフレームワークを用いて,複数回答のオープンドメイン問題に取り組むことを提案する。 当社のフレームワークは,2つのマルチアンワーデータセットで新たな最先端結果を達成し,oracle rerankerを備えたrerank-then-readシステムよりもはるかに多くのゴールド回答を予測します。

関連論文リスト

• Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
  サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。 このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。 すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
  論文  参考訳（メタデータ） (2024-10-20T22:59:34Z)
• Generate-then-Ground in Retrieval-Augmented Generation for Multi-hop Question Answering [45.82437926569949]
  マルチホップ質問回答タスクは、大きな言語モデルにとって大きな課題となる。 マルチホップ問題の解法として,ジェネレーションセブングラウンド(GenGround)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-21T06:26:38Z)
• RichRAG: Crafting Rich Responses for Multi-faceted Queries in Retrieval-Augmented Generation [35.981443744108255]
  本稿ではRichRAGという新しいRAGフレームワークを提案する。 これには、入力された質問の潜在的なサブアスペクトを特定するサブアスペクトエクスプローラー、これらのサブアスペクトに関連する多様な外部文書の候補プールを構築するレトリバー、および生成リストワイズローダが含まれる。 2つの公開データセットの実験結果から,我々のフレームワークがユーザに対して包括的かつ満足な応答を効果的に提供できることが証明された。
  論文  参考訳（メタデータ） (2024-06-18T12:52:51Z)
• Multifaceted Improvements for Conversational Open-Domain Question Answering [54.913313912927045]
  対話型オープンドメイン質問回答(MICQA)のための多面的改善フレームワークを提案する。 第一に、提案したKL分割に基づく正規化は、検索と解答のためのより良い質問理解をもたらすことができる。 第二に、追加されたポストランカモジュールは、より関連性の高いパスをトップにプッシュし、2アスペクトの制約で読者に選択できる。 第3に、十分に設計されたカリキュラム学習戦略は、訓練と推論の黄金の通路設定のギャップを効果的に狭め、黄金の通路支援なしで真の答えを見つけることを奨励する。
  論文  参考訳（メタデータ） (2022-04-01T07:54:27Z)
• Joint Passage Ranking for Diverse Multi-Answer Retrieval [56.43443577137929]
  質問に対する複数の異なる回答をカバーするために、パスの取得を必要とする探索不足の問題であるマルチアンサー検索について検討する。 モデルが別の有効な答えを逃す費用で同じ答えを含む通路を繰り返すべきではないので、このタスクは、検索された通路の共同モデリングを必要とします。 本稿では,再順位に着目したジョイントパス検索モデルであるJPRを紹介する。 回収された通路の合同確率をモデル化するために、JPRは、新しい訓練および復号アルゴリズムを備えた通路のシーケンスを選択する自動回帰リタイナを利用する。
  論文  参考訳（メタデータ） (2021-04-17T04:48:36Z)
• Answering Ambiguous Questions through Generative Evidence Fusion and Round-Trip Prediction [46.38201136570501]
  本稿では,複数の通路からの証拠を集約し,一つの回答や質問対の集合を適応的に予測するモデルを提案する。 我々のモデルはRefuelと呼ばれ、AmbigQAデータセット上で新しい最先端のパフォーマンスを実現し、NQ-OpenおよびTriviaQA上での競合性能を示す。
  論文  参考訳（メタデータ） (2020-11-26T05:48:55Z)
• Answering Any-hop Open-domain Questions with Iterative Document Reranking [62.76025579681472]
  オープンドメインの問に答える統合QAフレームワークを提案する。 提案手法は,シングルホップおよびマルチホップのオープンドメインQAデータセットにおいて,最先端技術に匹敵する性能を継続的に達成する。
  論文  参考訳（メタデータ） (2020-09-16T04:31:38Z)
• Open-Domain Question Answering with Pre-Constructed Question Spaces [70.13619499853756]
  オープンドメインの質問応答は、大量の文書の集合の中でユーザ生成した質問に対する回答を見つけるという課題を解決することを目的としている。 ソリューションには、レトリバーリーダーとナレッジグラフベースのアプローチの2つのファミリーがある。 本稿では,両家系と異なるリーダ・リトリバー構造を持つ新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-02T04:31:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。