論文の概要: FrugalRAG: Learning to retrieve and reason for multi-hop QA

• arxiv url: http://arxiv.org/abs/2507.07634v1
• Date: Thu, 10 Jul 2025 11:02:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.367369
• Title: FrugalRAG: Learning to retrieve and reason for multi-hop QA
• Title（参考訳）: FrugalRAG:マルチホップQAの学習
• Authors: Abhinav Java, Srivathsan Koundinyan, Nagarajan Natarajan, Amit Sharma,
• Abstract要約: RAGメトリクスを改善するために大規模な微調整は必要ない。 監督されたRLベースの微調整は、粗悪さの観点からRAGに役立つ。
• 参考スコア（独自算出の注目度）: 10.193015391271535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the problem of answering complex questions, given access to a large unstructured document corpus. The de facto approach to solving the problem is to leverage language models that (iteratively) retrieve and reason through the retrieved documents, until the model has sufficient information to generate an answer. Attempts at improving this approach focus on retrieval-augmented generation (RAG) metrics such as accuracy and recall and can be categorized into two types: (a) fine-tuning on large question answering (QA) datasets augmented with chain-of-thought traces, and (b) leveraging RL-based fine-tuning techniques that rely on question-document relevance signals. However, efficiency in the number of retrieval searches is an equally important metric, which has received less attention. In this work, we show that: (1) Large-scale fine-tuning is not needed to improve RAG metrics, contrary to popular claims in recent literature. Specifically, a standard ReAct pipeline with improved prompts can outperform state-of-the-art methods on benchmarks such as HotPotQA. (2) Supervised and RL-based fine-tuning can help RAG from the perspective of frugality, i.e., the latency due to number of searches at inference time. For example, we show that we can achieve competitive RAG metrics at nearly half the cost (in terms of number of searches) on popular RAG benchmarks, using the same base model, and at a small training cost (1000 examples).
• Abstract（参考訳）: 大規模非構造化文書コーパスへのアクセスを前提として,複雑な質問に回答する問題を考察する。 この問題を解決するためのデファクトアプローチは、モデルが答えを生成するのに十分な情報を持っているまで、検索された文書を通して(暫定的に)検索と推論を行う言語モデルを活用することである。 このアプローチを改善する試みは、精度やリコールなどの検索強化生成(RAG)メトリクスに焦点を当て、次の2つのタイプに分類される。 (a)チェーンオブソートトレースを付加した大規模質問応答(QA)データセットの微調整、及び b)質問文書関連信号に依存するRLに基づく微調整技術を活用する。 しかし,検索回数の効率は同様に重要な指標であり,注目度は低い。 本研究は,(1)RAGメトリクスを改善するために大規模な微調整は不要であり,最近の文献における一般的な主張とは対照的である。 具体的には、改良されたプロンプトを備えた標準のReActパイプラインは、HotPotQAなどのベンチマークで最先端のメソッドより優れている。 2) 教師付きおよびRLに基づく微調整は,粗さの観点からのRAG,すなわち推論時間における探索数による遅延を助長する。 例えば、人気のあるRAGベンチマークにおいて、競争力のあるRAGメトリクスを(検索数において)ほぼ半分のコストで、同じベースモデルを使用して、そして小さなトレーニングコスト(1000例)で達成できることを示します。

関連論文リスト

• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
  本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。 我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。 さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
  論文  参考訳（メタデータ） (2024-10-31T18:43:12Z)
• Retrieve, Summarize, Plan: Advancing Multi-hop Question Answering with an Iterative Approach [6.549143816134531]
  二重機能要約器を備えたReSPと呼ばれる新しい反復RAG法を提案する。 マルチホップ質問応答HotpotQAと2WikiMultihopQAの実験結果から,本手法が最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-07-18T02:19:00Z)
• Corrective Retrieval Augmented Generation [36.04062963574603]
  Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。 生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
  論文  参考訳（メタデータ） (2024-01-29T04:36:39Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• Questions Are All You Need to Train a Dense Passage Retriever [123.13872383489172]
  ARTは、ラベル付きトレーニングデータを必要としない高密度検索モデルをトレーニングするための、新しいコーパスレベルのオートエンコーディングアプローチである。 そこで,(1) 入力質問を用いて証拠文書の集合を検索し,(2) 文書を用いて元の質問を再構築する確率を計算する。
  論文  参考訳（メタデータ） (2022-06-21T18:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。