論文の概要: CRITIC-R1: Learning Structured Critics for Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2605.29886v1
• Date: Thu, 28 May 2026 13:11:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.332726
• Title: CRITIC-R1: Learning Structured Critics for Retrieval-Augmented Generation
• Title（参考訳）: CRITIC-R1:Retrieval-Augmented Generationのための構造化批判の学習
• Authors: Wenhan Xiao, Ziwei Zhang, Chuanyue Yu, Xingcheng Fu, Qingyun Sun, Runhua Xu, Jianxin Li,
• Abstract要約: CRITIC-R1は、強化学習(RL)を用いた明示的な誤り診断問題としてRAG批判を定式化し、学習する構造化批評家フレームワークである。 我々のフレームワークは、一般的なRAGエラーを、判定、エラー位置、推論分析、修正生成を含む複数の診断次元に分類する。 5つのQAベンチマークでの実験では、CRITIC-R1は強力なRAGベースラインよりも応答品質を一貫して改善している。
• 参考スコア（独自算出の注目度）: 27.147616396943917
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Retrieval-augmented generation (RAG) improves knowledge-intensive question answering by incorporating external evidence. However, existing RAG methods still suffer from hallucinations and subtle reasoning errors. Recent studies introduce external critics to refine RAG outputs, yet they often provide coarse-grained and weakly structured feedback, exhibit over-aggressive intervention, and lead to noisy and unreliable refinement, limiting their effectiveness for correction. To tackle these issues, we propose CRITIC-R1, a structured critic framework that formulates and learns RAG critique as an explicit error diagnosis problem using reinforcement learning (RL). Our framework categorizes common RAG errors into multiple diagnostic dimensions, including verdict, error location, reasoning analysis, and fix generation. To learn these capabilities, we design two reward functions: Conservative Judgement Alignment (CJA) first encourages calibrated high-level judgements while mitigating the over-aggressive phenomenon, whereas Diagnostic Quality Alignment (DQA) further improves fine-grained diagnostic feedback through gated rewards. We train the critic model using GRPO-based RL with process-level supervision collected from external LLM teacher models. Experiments across five QA benchmarks show that CRITIC-R1 consistently improves answer quality over strong RAG baselines. Our source code is available at https://anonymous.4open.science/r/critic-r1-FCB0
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、外部証拠を組み込んで知識集約的な質問応答を改善する。 しかし、既存のRAG法はいまだに幻覚と微妙な推論誤りに悩まされている。 近年の研究では、RAG出力を洗練させるために外部の批評家が紹介されているが、粗い粒度と弱く構造化されたフィードバックを提供し、過度に攻撃的な介入を示し、ノイズと信頼性の低い改善をもたらし、修正の有効性を制限している。 これらの問題に対処するために、強化学習(RL)を用いた明示的な誤り診断問題としてRAG批判を定式化し、学習する構造化批評家フレームワークであるCRITIC-R1を提案する。 我々のフレームワークは、一般的なRAGエラーを、判定、エラー位置、推論分析、修正生成を含む複数の診断次元に分類する。 これらの能力を学習するために、我々は2つの報酬関数を設計する: 保守的判断アライメント(CJA)は、まず、過攻撃的な現象を緩和しながら、高次判断を校正し、一方、診断品質アライメント(DQA)は、ゲート報酬を通じてよりきめ細かい診断フィードバックを改善する。 我々は,GRPOをベースとしたRLを用いて,外部LLM教師モデルからプロセスレベルの監視を行うことで,批評家モデルを訓練する。 5つのQAベンチマークでの実験では、CRITIC-R1は強力なRAGベースラインよりも応答品質を一貫して改善している。 ソースコードはhttps://anonymous.4open.science/r/critic-r1-FCB0で公開されています。

関連論文リスト

• Improving Retrieval-Augmented Generation without Taxonomy-based Error Categorization [17.117396375545457]
  Retrieval-Augmented Generation (RAG) は、外部知識を基礎として、大規模言語モデル(LLM)出力の事実精度を向上させる。 近年のエージェントRAGシステムは、このパラダイムを拡張して、モデル応答を評価し、出力を反復的に洗練する。 本稿では,RAG出力の欠陥を微粒な誤りや明確な批判監督に頼ることなく,誤りを除去するアクションプランに直接マッピングする応答-アクション学習パラダイムであるRePAIRを提案する。
  論文  参考訳（メタデータ） (2026-04-16T19:53:50Z)
• Doctor-RAG: Failure-Aware Repair for Agentic Retrieval-Augmented Generation [23.961760006898157]
  エージェント検索・拡張生成(Agentic RAG)は,質問応答や複雑な知識推論のパラダイムとして広く採用されている。 既存のアプローチでは、診断分析で停止するか、検索推論パイプライン全体を再実行することで、このような障害に対処するのが一般的である。 本稿では,Agenic RAGの異常を明示的エラーローカライゼーションとプレフィックス再利用によって修正する統合診断・修復フレームワークであるDoctor-RAGを提案する。
  論文  参考訳（メタデータ） (2026-04-01T13:13:27Z)
• RLAC: Reinforcement Learning with Adversarial Critic for Free-Form Generation Tasks [75.52891348667491]
  オープンエンド生成タスクは、多様でしばしば暗黙的なタスク固有の評価ルーブリックを満たすために出力を必要とする。 関連するルーリックの数が多ければ多いほど、極めて高い検証コストと応答の不完全な評価につながる。 RLAC(Reinforcement Learning with Adrial Critic, Reinforcement Learning with Adrial Critic)を提案する。
  論文  参考訳（メタデータ） (2025-11-03T17:15:05Z)
• Critique-RL: Training Language Models for Critiquing through Two-Stage Reinforcement Learning [89.60378227969643]
  より強力な監督を伴わないクオリティク言語モデルを開発するためのオンラインRLアプローチであるCrytique-RLを提案する。 提案手法は,アクターが応答を生成し,批評家がフィードバックを提供し,アクターがそれに応じて応答を洗練する,という2段階のパラダイムに基づいている。 さまざまなタスクやモデルに対する実験では、Cristique-RLが大幅なパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2025-10-28T11:37:01Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
  我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。 本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。 我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-09-24T14:52:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。