論文の概要: EviNote-RAG: Enhancing RAG Models via Answer-Supportive Evidence Notes
- arxiv url: http://arxiv.org/abs/2509.00877v1
- Date: Sun, 31 Aug 2025 14:44:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 15:17:03.443019
- Title: EviNote-RAG: Enhancing RAG Models via Answer-Supportive Evidence Notes
- Title(参考訳): EviNote-RAG: Answer-Supportive Evidence NotesによるRAGモデルの強化
- Authors: Yuqin Dai, Guoqing Wang, Yuan Wang, Kairan Dou, Kaichen Zhou, Zhanwei Zhang, Shuo Yang, Fei Tang, Jun Yin, Pengyu Zeng, Zhenzhe Ying, Can Yi, Changhua Meng, Yuchen Zhou, Yongliang Shen, Shuai Lu,
- Abstract要約: EviNote-RAGは、構造化検索-注記-問合せパイプラインを導入するエージェントRAGフレームワークである。
生の検索を直接推論する代わりに、SEN(Supportive-Evidence Notes)を構成するように訓練されている。
SENは、応答関連情報のみを保存し、不確実性を強調し、有効な証拠が存在しないことを明示する。
- 参考スコア(独自算出の注目度): 39.61443457073034
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) empowered with retrieval mechanisms have achieved strong progress in open-domain question answering (QA). Yet, the conventional retrieve--then--answer paradigm often suffers from two key limitations: (1) low signal-to-noise ratio in retrieved evidence, where useful information is buried under irrelevant content, and (2) error accumulation in multi-hop reasoning when incomplete or noisy passages are involved. To address these challenges, we present EviNote-RAG, an agentic RAG framework that introduces a structured retrieve--note--answer pipeline. Instead of directly reasoning over raw retrievals, the model is trained to compose Supportive-Evidence Notes (SENs), concise, human-like notes that preserve only answer-relevant information, highlight uncertainty, and explicitly state when no useful evidence exists. This distillation process is further reinforced by the Evidence Quality Reward (EQR), an entailment-based signal that evaluates whether SENs logically support the final answer. Together, SENs and EQR guide the model toward faithful and robust reasoning, while reducing the impact of noise. Experiments on in-domain and out-of-domain QA benchmarks show that EviNote-RAG consistently outperforms strong baselines in accuracy, generalization, and training stability. In particular, it achieves state-of-the-art results while enhancing robustness and efficiency, yielding relative F1 gains of 20\% on HotpotQA (+0.093), 40\% on Bamboogle (+0.151), and 91\% on 2Wiki (+0.256) via denser rewards and reduced verbosity.
- Abstract(参考訳): 検索機構によって強化された大規模言語モデル (LLM) は、オープンドメイン質問応答 (QA) において大きな進歩を遂げている。
しかし,従来の検索-then-an-werパラダイムは,(1)不完全またはノイズを伴う場合のマルチホップ推論において,有用な情報が無関係な内容に埋もれている証拠の信号-雑音比が低いこと,(2)不完全またはノイズを伴う場合のエラー蓄積という2つの重要な制限を負うことが多い。
これらの課題に対処するために,構造化検索ノート-問合せパイプラインを導入したエージェントRAGフレームワークであるEviNote-RAGを紹介する。
生の検索を直接推論する代わりに、このモデルは、回答関連情報のみを保存し、不確実性を強調し、有効な証拠が存在しない場合に明示的に状態を明示する、簡潔で人間的なノート(SEN)を構成するように訓練されている。
この蒸留プロセスは、SENが最終回答を論理的に支持するかどうかを評価するエンテーメントベースの信号であるEvidence Quality Reward (EQR)によってさらに強化される。
SENとEQRは共に、ノイズの影響を低減しつつ、忠実で堅牢な推論に向けてモデルを導く。
ドメイン内およびドメイン外QAベンチマークの実験では、EviNote-RAGは精度、一般化、トレーニング安定性において強いベースラインを一貫して上回っている。
特に,HtpotQA(+0.093),Bamboogle(+0.151),2Wiki(+0.256),2Wiki(+0.256)の相対的なF1ゲインを20倍に高め,強靭性と効率性を高めつつ,最先端の結果を達成する。
関連論文リスト
- Deliberative Reasoning Network: An Uncertainty-Driven Paradigm for Belief-Tracked Inference with Pretrained Language Models [7.095344389368656]
Deliberative Reasoning Network (DRN) は、確率から不確実性への論理的推論を再構成する新しいパラダイムである。
DRNは、信念状態を明示的に追跡し、競合する仮説の不確実性を定量化することによって、本質的な解釈可能性を達成する。
我々は、DRNを、より信頼できるAIシステムを構築するための、基礎的で検証可能なシステム2推論コンポーネントとして位置付ける。
論文 参考訳(メタデータ) (2025-08-06T11:33:35Z) - RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。
提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。
実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
論文 参考訳(メタデータ) (2025-05-28T14:55:33Z) - Trust, But Verify: A Self-Verification Approach to Reinforcement Learning with Verifiable Rewards [67.86091419220816]
大規模言語モデル(LLM)は複雑な推論において非常に有望である。
一般的な問題は表面的な自己回帰であり、モデルが自身の出力をしっかりと検証できない。
本稿では、RISE(Reinforce Reasoning with Self-Verification)という新しいオンラインRLフレームワークについて紹介する。
論文 参考訳(メタデータ) (2025-05-19T17:59:31Z) - AlignRAG: Leveraging Critique Learning for Evidence-Sensitive Retrieval-Augmented Reasoning [61.28113271728859]
RAGは知識ベースで大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
標準的なRAGパイプラインは、モデル推論が取得した証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
本研究では,RAGをRetrieval-Augmented Reasoningと解釈し,中心的だが未探索な問題であるtextitReasoning Misalignmentを同定する。
論文 参考訳(メタデータ) (2025-04-21T04:56:47Z) - InstructRAG: Instructing Retrieval-Augmented Generation via Self-Synthesized Rationales [14.655518998487237]
InstructRAGを提案する。そこでは、LMが自己合成的理性を通して認知過程を明示的に学習する。
インストラクションRAGは追加の監視を必要としないため、予測された回答の検証が容易になる。
実験によると、InstructRAGはトレーニング不要とトレーニング可能な両方のシナリオにおいて、既存のRAGメソッドを一貫して上回っている。
論文 参考訳(メタデータ) (2024-06-19T15:25:29Z) - Self-RAG: Learning to Retrieve, Generate, and Critique through
Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。
自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。
様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2023-10-17T18:18:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。