論文の概要: AlignRAG: Leveraging Critique Learning for Evidence-Sensitive Retrieval-Augmented Reasoning

• arxiv url: http://arxiv.org/abs/2504.14858v3
• Date: Wed, 21 May 2025 03:51:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 13:19:52.286395
• Title: AlignRAG: Leveraging Critique Learning for Evidence-Sensitive Retrieval-Augmented Reasoning
• Title（参考訳）: AlignRAG: 肯定的検索強化推論のための批判学習の活用
• Authors: Jiaqi Wei, Hao Zhou, Xiang Zhang, Di Zhang, Zijie Qiu, Wei Wei, Jinzhe Li, Wanli Ouyang, Siqi Sun,
• Abstract要約: RAGは知識ベースで大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 標準的なRAGパイプラインは、モデル推論が取得した証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 本研究では,RAGをRetrieval-Augmented Reasoningと解釈し,中心的だが未探索な問題であるtextitReasoning Misalignmentを同定する。
• 参考スコア（独自算出の注目度）: 61.28113271728859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) has become a widely adopted paradigm for enabling knowledge-grounded large language models (LLMs). However, standard RAG pipelines often fail to ensure that model reasoning remains consistent with the evidence retrieved, leading to factual inconsistencies or unsupported conclusions. In this work, we reinterpret RAG as Retrieval-Augmented Reasoning and identify a central but underexplored problem: \textit{Reasoning Misalignment}-the divergence between an LLM's internal reasoning trajectory and the evidential constraints provided by retrieval. To address this issue, we propose \textsc{AlignRAG}, a novel iterative framework grounded in Critique-Driven Alignment (CDA). At the heart of \textsc{AlignRAG} lies a \textit{contrastive critique synthesis} mechanism that generates retrieval-sensitive critiques while mitigating self-bias. This mechanism trains a dedicated retrieval-augmented \textit{Critic Language Model (CLM)} using labeled critiques that distinguish between evidence-aligned and misaligned reasoning. Alignment signals for supervision are obtained through self-supervised or externally guided labeling strategies. The resulting CLM is explicitly optimized for evidence sensitivity, enabling it to detect and revise reasoning errors during inference without relying solely on self-generated feedback. Empirical evaluations show that our 8B-parameter CLM improves performance over the Self-Refine baseline by 12.1\% on out-of-domain tasks and outperforms a standard 72B-parameter CLM by 2.2\%, while remaining compatible with existing RAG architectures as a plug-and-play module. Overall, AlignRAG offers a principled solution for aligning model reasoning with retrieved evidence, substantially improving the factual reliability and robustness of RAG systems.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 しかしながら、標準的なRAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 本研究では、RAGを検索強化推論(Retrieval-Augmented Reasoning)と解釈し、中心的だが未探索の問題を同定する。 この問題に対処するために、批判駆動アライメント(CDA)に基づく新しい反復的フレームワークである「textsc{AlignRAG}」を提案する。 textsc{AlignRAG} の中心には、自己バイアスを緩和しながら、検索に敏感な批評を生成する \textit{contrastive critique synthesis} 機構がある。 このメカニズムは、エビデンスアライメントと誤ったアライメントの推論を区別するラベル付き批評を用いて、専用の検索強化された \textit{Critic Language Model (CLM) を訓練する。 監視用アライメント信号は、自己監督型または外部誘導型ラベリング戦略により得られる。 結果のCLMはエビデンス感度に明示的に最適化されており、自己生成フィードバックのみに頼ることなく、推論中の推論エラーを検出し、修正することができる。 実験的な評価では、我々の8BパラメータCLMは、ドメイン外のタスクで12.1\%向上し、72BパラメータCLMを2.2\%上回る一方、既存のRAGアーキテクチャとプラグイン・アンド・プレイモジュールとして互換性が保たれている。 全体として、AlignRAGはモデル推論を検索された証拠と整合させ、RAGシステムの事実的信頼性と堅牢性を大幅に改善する原理的なソリューションを提供する。

関連論文リスト

• CDF-RAG: Causal Dynamic Feedback for Adaptive Retrieval-Augmented Generation [3.8808821719659763]
  適応検索拡張生成(CDF-RAG)のための因果動的フィードバックを導入する。 CDF-RAGは、クエリを反復的に洗練し、構造化因果グラフを検索し、相互接続された知識ソース間のマルチホップ因果推論を可能にする。 我々は,CDF-RAGを4つの多様なデータセット上で評価し,既存のRAG法よりも応答精度と因果正性を向上させる能力を示した。
  論文  参考訳（メタデータ） (2025-04-17T01:15:13Z)
• ReaRAG: Knowledge-guided Reasoning Enhances Factuality of Large Reasoning Models with Iterative Retrieval Augmented Generation [38.64751082999587]
  大きな推論モデル(LRM)は、顕著な推論能力を示すが、主にパラメトリック知識に依存し、事実の正確性を制限する。 本稿では,過剰な反復を伴わない多様なクエリを探索する,事実性強化推論モデルReaRAGを提案する。 我々の研究は、レトリーバル強化世代(RAG)のロバスト推論を効果的に統合しつつ、LRMの事実性を向上する。
  論文  参考訳（メタデータ） (2025-03-27T17:44:18Z)
• CausalRAG: Integrating Causal Graphs into Retrieval-Augmented Generation [11.265999775635823]
  CausalRAGは因果グラフを検索プロセスに組み込む新しいフレームワークである。 因果関係の構築と追跡により、CausalRAGは文脈連続性を保ち、検索精度を向上させる。 本研究は,因果推論における接地探索が,知識集約型タスクに有望なアプローチをもたらすことを示唆している。
  論文  参考訳（メタデータ） (2025-03-25T17:43:08Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• RAG-Star: Enhancing Deliberative Reasoning with Retrieval Augmented Verification and Refinement [85.08223786819532]
  既存の大規模言語モデル(LLM)は、例外的な問題解決能力を示すが、複雑な推論タスクに苦労する可能性がある。 検索情報を統合した新しいRAG手法である textbfRAG-Star を提案する。 Llama-3.1-8B-Instruct と GPT-4o を併用した実験により,RAG-Star は従来のRAG と推理法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2024-12-17T13:05:36Z)
• Eliciting Critical Reasoning in Retrieval-Augmented Language Models via Contrastive Explanations [4.697267141773321]
  Retrieval-augmented Generation (RAG) は、よりリッチな現実的コンテキストに体系的にアクセスする大規模言語モデル(LLM)をサポートするために、現代のNLPにおいて重要なメカニズムとして登場した。 近年の研究では、LLMはRAGに基づくインコンテキスト情報(誤った推論や幻覚につながる可能性のある制限)を批判的に分析するのに苦慮していることが示されている。 本稿では,RAGにおける批判的推論を,対照的な説明を通じてどのように引き起こすかを検討する。
  論文  参考訳（メタデータ） (2024-10-30T10:11:53Z)
• Plan*RAG: Efficient Test-Time Planning for Retrieval Augmented Generation [20.5047654554575]
  Plan*RAGは、検索強化世代(RAG)における構造化マルチホップ推論を可能にするフレームワーク Plan*RAGは、RQ-RAGやSelf-RAGといった最近提案された手法よりも一貫して改善されている。
  論文  参考訳（メタデータ） (2024-10-28T05:35:04Z)
• Can We Further Elicit Reasoning in LLMs? Critic-Guided Planning with Retrieval-Augmentation for Solving Challenging Tasks [68.49251303172674]
  最先端の大規模言語モデル(LLM)は、目覚ましい問題解決能力を示すが、複雑な推論と事実の正しさに苦慮する可能性がある。 既存の手法では、チェーン・オブ・ソートと検索強化生成(RAG)の強みを利用して、複雑な問題をより単純なステップに分解し、検索を適用して事実の正しさを向上させる。 CR-Planner(CR-Planner, CR-Planner, CR-Planner)は, 微調整された批判モデルを利用して, 推論と検索の両方のプロセスを計画を通してガイドする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-02T11:26:02Z)
• Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
  最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
  論文  参考訳（メタデータ） (2024-05-21T17:12:19Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。