論文の概要: AlignRAG: Leveraging Critique Learning for Evidence-Sensitive Retrieval-Augmented Reasoning

• arxiv url: http://arxiv.org/abs/2504.14858v2
• Date: Sat, 17 May 2025 11:42:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.604797
• Title: AlignRAG: Leveraging Critique Learning for Evidence-Sensitive Retrieval-Augmented Reasoning
• Title（参考訳）: AlignRAG: 肯定的検索強化推論のための批判学習の活用
• Authors: Jiaqi Wei, Hao Zhou, Xiang Zhang, Di Zhang, Zijie Qiu, Wei Wei, Jinzhe Li, Wanli Ouyang, Siqi Sun,
• Abstract要約: RAGは知識ベースで大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 標準的なRAGパイプラインは、モデル推論が取得した証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 本研究では,RAGをRetrieval-Augmented Reasoningと解釈し,中心的だが未探索な問題であるtextitReasoning Misalignmentを同定する。
• 参考スコア（独自算出の注目度）: 61.28113271728859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) has become a widely adopted paradigm for enabling knowledge-grounded large language models (LLMs). However, standard RAG pipelines often fail to ensure that model reasoning remains consistent with the evidence retrieved, leading to factual inconsistencies or unsupported conclusions. In this work, we reinterpret RAG as Retrieval-Augmented Reasoning and identify a central but underexplored problem: \textit{Reasoning Misalignment}-the divergence between an LLM's internal reasoning trajectory and the evidential constraints provided by retrieval. To address this issue, we propose \textsc{AlignRAG}, a novel iterative framework grounded in Critique-Driven Alignment (CDA). At the heart of \textsc{AlignRAG} lies a \textit{contrastive critique synthesis} mechanism that generates retrieval-sensitive critiques while mitigating self-bias. This mechanism trains a dedicated retrieval-augmented \textit{Critic Language Model (CLM)} using labeled critiques that distinguish between evidence-aligned and misaligned reasoning. Alignment signals for supervision are obtained through self-supervised or externally guided labeling strategies. The resulting CLM is explicitly optimized for evidence sensitivity, enabling it to detect and revise reasoning errors during inference without relying solely on self-generated feedback. Empirical evaluations show that our 8B-parameter CLM improves performance over the Self-Refine baseline by 12.1\% on out-of-domain tasks and outperforms a standard 72B-parameter CLM by 2.2\%, while remaining compatible with existing RAG architectures as a plug-and-play module. Overall, AlignRAG offers a principled solution for aligning model reasoning with retrieved evidence, substantially improving the factual reliability and robustness of RAG systems.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 しかしながら、標準的なRAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 本研究では、RAGを検索強化推論(Retrieval-Augmented Reasoning)と解釈し、中心的だが未探索の問題を同定する。 この問題に対処するために、批判駆動アライメント(CDA)に基づく新しい反復的フレームワークである「textsc{AlignRAG}」を提案する。 textsc{AlignRAG} の中心には、自己バイアスを緩和しながら、検索に敏感な批評を生成する \textit{contrastive critique synthesis} 機構がある。 このメカニズムは、エビデンスアライメントと誤ったアライメントの推論を区別するラベル付き批評を用いて、専用の検索強化された \textit{Critic Language Model (CLM) を訓練する。 監視用アライメント信号は、自己監督型または外部誘導型ラベリング戦略により得られる。 結果のCLMはエビデンス感度に明示的に最適化されており、自己生成フィードバックのみに頼ることなく、推論中の推論エラーを検出し、修正することができる。 実験的な評価では、我々の8BパラメータCLMは、ドメイン外のタスクで12.1\%向上し、72BパラメータCLMを2.2\%上回る一方、既存のRAGアーキテクチャとプラグイン・アンド・プレイモジュールとして互換性が保たれている。 全体として、AlignRAGはモデル推論を検索された証拠と整合させ、RAGシステムの事実的信頼性と堅牢性を大幅に改善する原理的なソリューションを提供する。

関連論文リスト

• ASCoT: An Adaptive Self-Correction Chain-of-Thought Method for Late-Stage Fragility in LLMs [16.266957200961908]
  CoT(Chain-of-Thought)の促進により,LLM(Large Language Models)の推論機能が大幅に向上した。 CoT鎖の後半で導入されたエラーは、当初と同一のエラーよりも、最終回答が著しく破損する可能性が高い。 本稿では、この脆弱性に対処するために、適応自己補正連鎖法(ASCoT)を導入する。
  論文  参考訳（メタデータ） (2025-08-07T11:26:40Z)
• PrismRAG: Boosting RAG Factuality with Distractor Resilience and Strategized Reasoning [57.89188317734747]
  PrismRAGはこのモデルを、イントラクタを意識したQAペアで訓練し、金の証拠と微妙なイントラクタパスを混合する。 LLMを計画し、合理化し、人間工学的な指示に頼らずに合成する推論中心の習慣を取り入れている。
  論文  参考訳（メタデータ） (2025-07-25T00:15:31Z)
• Rethinking All Evidence: Enhancing Trustworthy Retrieval-Augmented Generation via Conflict-Driven Summarization [11.875601079871865]
  本稿では, 信頼性向上のための新しいフレームワークであるCARE-RAG(Conflict-Aware and Reliable Evidence for RAG)を提案する。 コンフリクトの検出と要約のために、3B LLaMA3.2モデルを蒸留し、コンフリクト駆動の要約を行い、複数のソース間で信頼性の高い合成を可能にする。 検索データを用いたQAデータセットの改訂実験により、CARE-RAGは強いRAGベースライン、特にノイズや矛盾するエビデンスのあるシナリオにおいて、一貫して優れることが示された。
  論文  参考訳（メタデータ） (2025-07-02T01:39:49Z)
• RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
  RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。 提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。 実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
  論文  参考訳（メタデータ） (2025-05-28T14:55:33Z)
• A Novel Generative Model with Causality Constraint for Mitigating Biases in Recommender Systems [20.672668625179526]
  遅延共起バイアスは、ユーザのフィードバックとアイテムの露出の間の真の因果関係を曖昧にする可能性がある。 本稿では,Recommender Systemsにおける表現学習のための遅延因果制約(Latent Causality Constraints)と呼ばれる新しい生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-22T14:09:39Z)
• Trust, But Verify: A Self-Verification Approach to Reinforcement Learning with Verifiable Rewards [67.86091419220816]
  大規模言語モデル(LLM)は複雑な推論において非常に有望である。 一般的な問題は表面的な自己回帰であり、モデルが自身の出力をしっかりと検証できない。 本稿では、RISE(Reinforce Reasoning with Self-Verification)という新しいオンラインRLフレームワークについて紹介する。
  論文  参考訳（メタデータ） (2025-05-19T17:59:31Z)
• CDF-RAG: Causal Dynamic Feedback for Adaptive Retrieval-Augmented Generation [3.8808821719659763]
  適応検索拡張生成(CDF-RAG)のための因果動的フィードバックを導入する。 CDF-RAGは、クエリを反復的に洗練し、構造化因果グラフを検索し、相互接続された知識ソース間のマルチホップ因果推論を可能にする。 我々は,CDF-RAGを4つの多様なデータセット上で評価し,既存のRAG法よりも応答精度と因果正性を向上させる能力を示した。
  論文  参考訳（メタデータ） (2025-04-17T01:15:13Z)
• ReaRAG: Knowledge-guided Reasoning Enhances Factuality of Large Reasoning Models with Iterative Retrieval Augmented Generation [38.64751082999587]
  大きな推論モデル(LRM)は、顕著な推論能力を示すが、主にパラメトリック知識に依存し、事実の正確性を制限する。 本稿では,過剰な反復を伴わない多様なクエリを探索する,事実性強化推論モデルReaRAGを提案する。 我々の研究は、レトリーバル強化世代(RAG)のロバスト推論を効果的に統合しつつ、LRMの事実性を向上する。
  論文  参考訳（メタデータ） (2025-03-27T17:44:18Z)
• CausalRAG: Integrating Causal Graphs into Retrieval-Augmented Generation [11.265999775635823]
  CausalRAGは因果グラフを検索プロセスに組み込む新しいフレームワークである。 因果関係の構築と追跡により、CausalRAGは文脈連続性を保ち、検索精度を向上させる。 本研究は,因果推論における接地探索が,知識集約型タスクに有望なアプローチをもたらすことを示唆している。
  論文  参考訳（メタデータ） (2025-03-25T17:43:08Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• Reinforcing Thinking through Reasoning-Enhanced Reward Models [6.636512424910708]
  大規模言語モデル(LLM)は、推論時思考による複雑な多段階推論において大きな可能性を秘めている。 LLMは、知識境界に対する自己認識が限られているため、いつ思考をやめるかを決めるのに苦労する。 この研究は、LLM自身の推論プロセスを合成行動データに蒸留することで、これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-12-31T04:50:15Z)
• RAG-Star: Enhancing Deliberative Reasoning with Retrieval Augmented Verification and Refinement [85.08223786819532]
  既存の大規模言語モデル(LLM)は、例外的な問題解決能力を示すが、複雑な推論タスクに苦労する可能性がある。 検索情報を統合した新しいRAG手法である textbfRAG-Star を提案する。 Llama-3.1-8B-Instruct と GPT-4o を併用した実験により,RAG-Star は従来のRAG と推理法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2024-12-17T13:05:36Z)
• Eliciting Critical Reasoning in Retrieval-Augmented Language Models via Contrastive Explanations [4.697267141773321]
  Retrieval-augmented Generation (RAG) は、よりリッチな現実的コンテキストに体系的にアクセスする大規模言語モデル(LLM)をサポートするために、現代のNLPにおいて重要なメカニズムとして登場した。 近年の研究では、LLMはRAGに基づくインコンテキスト情報(誤った推論や幻覚につながる可能性のある制限)を批判的に分析するのに苦慮していることが示されている。 本稿では,RAGにおける批判的推論を,対照的な説明を通じてどのように引き起こすかを検討する。
  論文  参考訳（メタデータ） (2024-10-30T10:11:53Z)
• Plan*RAG: Efficient Test-Time Planning for Retrieval Augmented Generation [20.5047654554575]
  Plan*RAGは、検索強化世代(RAG)における構造化マルチホップ推論を可能にするフレームワーク Plan*RAGは、RQ-RAGやSelf-RAGといった最近提案された手法よりも一貫して改善されている。
  論文  参考訳（メタデータ） (2024-10-28T05:35:04Z)
• Can We Further Elicit Reasoning in LLMs? Critic-Guided Planning with Retrieval-Augmentation for Solving Challenging Tasks [68.49251303172674]
  最先端の大規模言語モデル(LLM)は、目覚ましい問題解決能力を示すが、複雑な推論と事実の正しさに苦慮する可能性がある。 既存の手法では、チェーン・オブ・ソートと検索強化生成(RAG)の強みを利用して、複雑な問題をより単純なステップに分解し、検索を適用して事実の正しさを向上させる。 CR-Planner(CR-Planner, CR-Planner, CR-Planner)は, 微調整された批判モデルを利用して, 推論と検索の両方のプロセスを計画を通してガイドする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-02T11:26:02Z)
• Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
  我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。 本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。 我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-09-24T14:52:14Z)
• Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
  最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
  論文  参考訳（メタデータ） (2024-05-21T17:12:19Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。