論文の概要: Diversify-verify-adapt: Efficient and Robust Retrieval-Augmented Ambiguous Question Answering

• arxiv url: http://arxiv.org/abs/2409.02361v1
• Date: Wed, 4 Sep 2024 01:14:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 20:41:08.435078
• Title: Diversify-verify-adapt: Efficient and Robust Retrieval-Augmented Ambiguous Question Answering
• Title（参考訳）: Diversify-verify-adapt: 効率的でロバストな検索-強化された曖昧な質問回答
• Authors: Yeonjun In, Sungchul Kim, Ryan A. Rossi, Md Mehrab Tanjim, Tong Yu, Ritwik Sinha, Chanyoung Park,
• Abstract要約: 検索拡張生成(RAG)フレームワークは、QAシステムにおけるユーザクエリのあいまいさに対処する。 RAGは、すべてのもっともらしい解釈をカバーし、包括的な応答を生成する。 しかし、単一の検索プロセスは、しばしば品質の低い結果に悩まされる。 本稿では,DIVA(Diversify-verify-Adapt)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 45.154063285999015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The retrieval augmented generation (RAG) framework addresses an ambiguity in user queries in QA systems by retrieving passages that cover all plausible interpretations and generating comprehensive responses based on the passages. However, our preliminary studies reveal that a single retrieval process often suffers from low quality results, as the retrieved passages frequently fail to capture all plausible interpretations. Although the iterative RAG approach has been proposed to address this problem, it comes at the cost of significantly reduced efficiency. To address these issues, we propose the diversify-verify-adapt (DIVA) framework. DIVA first diversifies the retrieved passages to encompass diverse interpretations. Subsequently, DIVA verifies the quality of the passages and adapts the most suitable approach tailored to their quality. This approach improves the QA systems accuracy and robustness by handling low quality retrieval issue in ambiguous questions, while enhancing efficiency.
• Abstract（参考訳）: 検索拡張生成(RAG)フレームワークは、QAシステムにおけるユーザクエリのあいまいさに対処し、すべての妥当な解釈を網羅するパスを検索し、そのパスに基づいて包括的な応答を生成する。 しかし, 予備研究により, 単一の検索プロセスが低品質な結果に悩まされることがしばしば明らかとなった。 この問題を解決するために反復RAG手法が提案されているが、効率を大幅に低下させるコストがかかる。 これらの問題に対処するため,我々はDIVAフレームワークを提案する。 DIVAは、まず検索された通路を多様化し、多様な解釈を包含する。 その後、DIVAはパスの品質を確認し、その品質に合わせて最も適切なアプローチを適用する。 提案手法は,不明瞭な質問に対して品質の低い検索問題を処理し,効率を向上し,QAシステムの精度とロバスト性を向上する。

関連論文リスト

• Agentic Verification for Ambiguous Query Disambiguation [42.238086712267396]
  本稿では,検索拡張世代(RAG)における問合せの曖昧化という課題に対処する。 本稿では,早期にレシーバとジェネレータからのフィードバックを取り入れて,ダイバーシフィケーションと検証を一体化するための共同手法を提案する。 広く採用されているASQAベンチマークにおいて,本手法の有効性と有効性を検証し,多種多様かつ検証可能な解釈を実現する。
  論文  参考訳（メタデータ） (2025-02-14T18:31:39Z)
• SUGAR: Leveraging Contextual Confidence for Smarter Retrieval [28.552283701883766]
  セマンティック不確実性誘導適応検索(SUGAR)について紹介する。 我々は、文脈に基づくエントロピーを利用して、検索するかどうかを積極的に決定し、シングルステップとマルチステップの検索を更に決定する。 実験の結果,意味的不確実性推定によって導かれる選択探索により,多様な質問応答タスクのパフォーマンスが向上し,より効率的な推論が達成された。
  論文  参考訳（メタデータ） (2025-01-09T01:24:59Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
  サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。 このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。 すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
  論文  参考訳（メタデータ） (2024-10-20T22:59:34Z)
• ScopeQA: A Framework for Generating Out-of-Scope Questions for RAG [52.33835101586687]
  会話AIエージェントはRetrieval Augmented Generation(RAG)を使用して、ユーザからの問い合わせに対して検証可能なドキュメント地上応答を提供する。 本稿では,多様な境界線外質問を効率よく生成する,ガイド付き幻覚に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)
• CoFE-RAG: A Comprehensive Full-chain Evaluation Framework for Retrieval-Augmented Generation with Enhanced Data Diversity [23.48167670445722]
  Retrieval-Augmented Generation (RAG) は、外部知識ソースから取得したコンテキストの助けを借りて、より正確で信頼性の高い回答を生成することを目的としている。 これらのシステムの評価は, 以下の問題により, 依然として重要な研究領域である。 RAGパイプライン全体にわたって徹底的な評価を容易にするために,包括的全チェーン評価(CoFE-RAG)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-16T05:20:32Z)
• AdaCQR: Enhancing Query Reformulation for Conversational Search via Sparse and Dense Retrieval Alignment [16.62505706601199]
  本稿では,対話型検索再構成のための新しいフレームワークAdaCQRを提案する。 AdaCQRは、情報検索クエリの一般化性を向上させる。 TopiOCQAとQReCCデータセットの実験結果は、AdaCQRが既存のメソッドをより効率的なフレームワークで上回ることを示した。
  論文  参考訳（メタデータ） (2024-07-02T05:50:16Z)
• Better Retrieval May Not Lead to Better Question Answering [59.1892787017522]
  システムの性能を改善するための一般的なアプローチは、取得したコンテキストの品質をIRステージから改善することである。 マルチホップ推論を必要とするオープンドメインのQAデータセットであるStrategyQAでは、この一般的なアプローチは驚くほど非効率である。
  論文  参考訳（メタデータ） (2022-05-07T16:59:38Z)
• Complementary Evidence Identification in Open-Domain Question Answering [66.17954897343456]
  オープンドメイン質問応答(QA)における補完的証拠識別の新しい問題を提案する。 この問題は、複雑な質問に答えるために、複数の側面から完全な証拠をカバーする小さな通路を効率的に見つけることを目指しています。
  論文  参考訳（メタデータ） (2021-03-22T08:04:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。