論文の概要: Diversify-verify-adapt: Efficient and Robust Retrieval-Augmented Ambiguous Question Answering

• arxiv url: http://arxiv.org/abs/2409.02361v1
• Date: Wed, 4 Sep 2024 01:14:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 20:41:08.435078
• Title: Diversify-verify-adapt: Efficient and Robust Retrieval-Augmented Ambiguous Question Answering
• Title（参考訳）: Diversify-verify-adapt: 効率的でロバストな検索-強化された曖昧な質問回答
• Authors: Yeonjun In, Sungchul Kim, Ryan A. Rossi, Md Mehrab Tanjim, Tong Yu, Ritwik Sinha, Chanyoung Park,
• Abstract要約: 検索拡張生成(RAG)フレームワークは、QAシステムにおけるユーザクエリのあいまいさに対処する。 RAGは、すべてのもっともらしい解釈をカバーし、包括的な応答を生成する。 しかし、単一の検索プロセスは、しばしば品質の低い結果に悩まされる。 本稿では,DIVA(Diversify-verify-Adapt)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 45.154063285999015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The retrieval augmented generation (RAG) framework addresses an ambiguity in user queries in QA systems by retrieving passages that cover all plausible interpretations and generating comprehensive responses based on the passages. However, our preliminary studies reveal that a single retrieval process often suffers from low quality results, as the retrieved passages frequently fail to capture all plausible interpretations. Although the iterative RAG approach has been proposed to address this problem, it comes at the cost of significantly reduced efficiency. To address these issues, we propose the diversify-verify-adapt (DIVA) framework. DIVA first diversifies the retrieved passages to encompass diverse interpretations. Subsequently, DIVA verifies the quality of the passages and adapts the most suitable approach tailored to their quality. This approach improves the QA systems accuracy and robustness by handling low quality retrieval issue in ambiguous questions, while enhancing efficiency.
• Abstract（参考訳）: 検索拡張生成(RAG)フレームワークは、QAシステムにおけるユーザクエリのあいまいさに対処し、すべての妥当な解釈を網羅するパスを検索し、そのパスに基づいて包括的な応答を生成する。 しかし, 予備研究により, 単一の検索プロセスが低品質な結果に悩まされることがしばしば明らかとなった。 この問題を解決するために反復RAG手法が提案されているが、効率を大幅に低下させるコストがかかる。 これらの問題に対処するため,我々はDIVAフレームワークを提案する。 DIVAは、まず検索された通路を多様化し、多様な解釈を包含する。 その後、DIVAはパスの品質を確認し、その品質に合わせて最も適切なアプローチを適用する。 提案手法は,不明瞭な質問に対して品質の低い検索問題を処理し,効率を向上し,QAシステムの精度とロバスト性を向上する。

関連論文リスト

• Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
  サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。 このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。 すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
  論文  参考訳（メタデータ） (2024-10-20T22:59:34Z)
• RAG-ConfusionQA: A Benchmark for Evaluating LLMs on Confusing Questions [52.33835101586687]
  会話AIエージェントはRetrieval Augmented Generation(RAG)を使用して、ユーザからの問い合わせに対して検証可能なドキュメント地上応答を提供する。 本稿では,与えられた文書コーパスから,文脈に乱れた多様な質問を効率的に生成する,新しい合成データ生成手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)
• CoFE-RAG: A Comprehensive Full-chain Evaluation Framework for Retrieval-Augmented Generation with Enhanced Data Diversity [23.48167670445722]
  Retrieval-Augmented Generation (RAG) は、外部知識ソースから取得したコンテキストの助けを借りて、より正確で信頼性の高い回答を生成することを目的としている。 これらのシステムの評価は, 以下の問題により, 依然として重要な研究領域である。 RAGパイプライン全体にわたって徹底的な評価を容易にするために,包括的全チェーン評価(CoFE-RAG)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-16T05:20:32Z)
• AdaCQR: Enhancing Query Reformulation for Conversational Search via Sparse and Dense Retrieval Alignment [16.62505706601199]
  本稿では,対話型検索再構成のための新しいフレームワークAdaCQRを提案する。 AdaCQRは、情報検索クエリの一般化性を向上させる。 TopiOCQAデータセットとQReCCデータセットの実験的評価は、AdaCQRが既存の手法よりも大幅に優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-02T05:50:16Z)
• On the Impact of Speech Recognition Errors in Passage Retrieval for Spoken Question Answering [13.013751306590303]
  合成ASR雑音に対する語彙・高密度レトリバーのロバスト性について検討した。 我々は,人間の声による質問を含む新しいデータセットを作成し,その書き起こしを用いて,合成ASRノイズの代わりに自然なASRノイズを扱う場合に,検索性能がさらに劣化することを示す。
  論文  参考訳（メタデータ） (2022-09-26T18:29:36Z)
• Better Retrieval May Not Lead to Better Question Answering [59.1892787017522]
  システムの性能を改善するための一般的なアプローチは、取得したコンテキストの品質をIRステージから改善することである。 マルチホップ推論を必要とするオープンドメインのQAデータセットであるStrategyQAでは、この一般的なアプローチは驚くほど非効率である。
  論文  参考訳（メタデータ） (2022-05-07T16:59:38Z)
• Joint Passage Ranking for Diverse Multi-Answer Retrieval [56.43443577137929]
  質問に対する複数の異なる回答をカバーするために、パスの取得を必要とする探索不足の問題であるマルチアンサー検索について検討する。 モデルが別の有効な答えを逃す費用で同じ答えを含む通路を繰り返すべきではないので、このタスクは、検索された通路の共同モデリングを必要とします。 本稿では,再順位に着目したジョイントパス検索モデルであるJPRを紹介する。 回収された通路の合同確率をモデル化するために、JPRは、新しい訓練および復号アルゴリズムを備えた通路のシーケンスを選択する自動回帰リタイナを利用する。
  論文  参考訳（メタデータ） (2021-04-17T04:48:36Z)
• Complementary Evidence Identification in Open-Domain Question Answering [66.17954897343456]
  オープンドメイン質問応答(QA)における補完的証拠識別の新しい問題を提案する。 この問題は、複雑な質問に答えるために、複数の側面から完全な証拠をカバーする小さな通路を効率的に見つけることを目指しています。
  論文  参考訳（メタデータ） (2021-03-22T08:04:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。