論文の概要: GRACE: Reinforcement Learning for Grounded Response and Abstention under Contextual Evidence
- arxiv url: http://arxiv.org/abs/2601.04525v1
- Date: Thu, 08 Jan 2026 02:47:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-09 17:01:53.001657
- Title: GRACE: Reinforcement Learning for Grounded Response and Abstention under Contextual Evidence
- Title(参考訳): GRACE:文脈的エビデンス下での接地応答と回避のための強化学習
- Authors: Yibo Zhao, Jiapeng Zhu, Zichen Ding, Xiang Li,
- Abstract要約: Retrieval-Augmented Generation (RAG)は、外部知識を統合してLarge Language Models (LLM)を強化する
RAGは、明確な根拠のない正しい答えを提供することと、検索された文脈が不十分な場合に製造された応答を生成するという2つの重大な欠陥に感受性がある。
本稿では,両方の欠陥を同時に軽減する強化学習フレームワークGRACEを提案する。
- 参考スコア(独自算出の注目度): 9.80421132842862
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-Augmented Generation (RAG) integrates external knowledge to enhance Large Language Models (LLMs), yet systems remain susceptible to two critical flaws: providing correct answers without explicit grounded evidence and producing fabricated responses when the retrieved context is insufficient. While prior research has addressed these issues independently, a unified framework that integrates evidence-based grounding and reliable abstention is currently lacking. In this paper, we propose GRACE, a reinforcement-learning framework that simultaneously mitigates both types of flaws. GRACE employs a data construction method that utilizes heterogeneous retrievers to generate diverse training samples without manual annotation. A multi-stage gated reward function is then employed to train the model to assess evidence sufficiency, extract key supporting evidence, and provide answers or explicitly abstain. Experimental results on two benchmarks demonstrate that GRACE achieves state-of-the-art overall accuracy and strikes a favorable balance between accurate response and rejection, while requiring only 10% of the annotation costs of prior methods. Our code is available at https://github.com/YiboZhao624/Grace..
- Abstract(参考訳): Retrieval-Augmented Generation (RAG) は、外部知識を統合して、Large Language Models (LLMs) を強化するが、システムは2つの重大な欠陥の影響を受けない。
これまでの研究では、これらの問題に個別に対処してきたが、証拠に基づく根拠と信頼性のある棄権を統合する統一されたフレームワークは、現在不足している。
本稿では,両方の欠陥を同時に軽減する強化学習フレームワークGRACEを提案する。
GRACEは、ヘテロジニアスなレトリバーを用いて、手動のアノテーションなしで多様なトレーニングサンプルを生成するデータ構築手法を採用している。
次に、多段階のゲート報酬関数を使用して、モデルのトレーニングを行い、証拠の有効性を評価し、重要な支持証拠を抽出し、回答を提供したり、明示的に棄却したりする。
2つのベンチマーク実験の結果、GRACEは最先端の全体的な精度を達成し、精度の高い応答と拒絶のバランスを保ちつつ、従来の手法のアノテーションコストの10%しか必要としないことがわかった。
私たちのコードはhttps://github.com/YiboZhao624/Grace.comから入手可能です。
と。
関連論文リスト
- Bounding Hallucinations: Information-Theoretic Guarantees for RAG Systems via Merlin-Arthur Protocols [40.19713302778418]
本稿では,RAGパイプライン全体をインタラクティブな証明システムとして扱うためのトレーニングフレームワークを提案する。
その結果,M/A訓練によるLLMは,基礎性,完全性,音性,拒否行動が改善された。
本研究は,自律型対話型防犯スタイルの監視が,信頼性の高いRAGシステムへの原則的かつ実践的な経路を提供することを示す。
論文 参考訳(メタデータ) (2025-12-12T14:50:38Z) - ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。
ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
論文 参考訳(メタデータ) (2025-11-27T19:01:02Z) - Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。
LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
論文 参考訳(メタデータ) (2025-11-15T02:50:23Z) - Decomposition-Enhanced Training for Post-Hoc Attributions In Language Models [64.49342399229529]
我々は、ポストホック帰属を推論問題として再編成し、回答を構成単位に分解し、それぞれ特定の文脈に結び付けることができると論じる。
DecompTuneは、モデルに中間的推論ステップとして解解分解を生成することを教えるポストトレーニング手法である。
DecompTuneは、広範な実験と改善を通じて、属性の品質を大幅に改善し、先行手法より優れ、最先端のフロンティアモデルに適合または超えている。
論文 参考訳(メタデータ) (2025-10-29T17:58:59Z) - VeriCite: Towards Reliable Citations in Retrieval-Augmented Generation via Rigorous Verification [107.75781898355562]
証拠を厳格に検証し,回答の帰属性を高めるために設計された,VeriCiteと呼ばれる新しいフレームワークを紹介する。
我々は,5つのオープンソースLCMと4つのデータセットを対象とした実験を行い,VeriCiteが回答の正しさを維持しつつ,引用品質を大幅に向上できることを実証した。
論文 参考訳(メタデータ) (2025-10-13T13:38:54Z) - EviNote-RAG: Enhancing RAG Models via Answer-Supportive Evidence Notes [39.61443457073034]
EviNote-RAGは検索ノート・アンサーのワークフローに従うフレームワークである。
生の外部情報を直接推論する代わりに、モデルが最初にサポート・エビデンス・ノートを生成する。
EviNote-RAGは最先端のパフォーマンスを実現し、回答の正確性、トレーニングの安定性、堅牢性、効率性を向上する。
論文 参考訳(メタデータ) (2025-08-31T14:44:45Z) - SEER: Self-Aligned Evidence Extraction for Retrieval-Augmented Generation [21.823931225182115]
本稿では,バニラモデルをエビデンス抽出器として最適化するためのモデルに基づくエビデンス抽出学習フレームワークSEERを提案する。
提案手法は, 最終RAG性能を大幅に向上させ, 抽出した証拠の忠実度, 有用性, 簡潔性を向上し, 証拠の長さを9.25倍に短縮する。
論文 参考訳(メタデータ) (2024-10-15T06:26:24Z) - Adversarial Contrastive Learning for Evidence-aware Fake News Detection
with Graph Neural Networks [20.282527436527765]
本稿では,Contrastive Learning,すなわちGETRALを用いたグラフベースのsEmantic構造マイニングフレームワークを提案する。
まず、グラフ構造化データとしてクレームとエビデンスをモデル化し、長距離セマンティック依存関係をキャプチャします。
次に、詳細なセマンティック表現をクレーム-エビデンス相互作用モジュールに入力して予測を行う。
論文 参考訳(メタデータ) (2022-10-11T14:54:37Z) - Distantly-Supervised Evidence Retrieval Enables Question Answering
without Evidence Annotation [19.551623461082617]
オープンドメインの質問応答は、大きなコーパスから取得した証拠に基づいて質問に答える。
本稿では,大規模コーパスからモデルが証拠の発見を学べるかどうかを,モデル学習のための回答ラベルからのみ遠ざかって検討する。
我々は,最新のモデルから証拠を交互に発見し,最も可能性の高い証拠を学習するよう促すことにより,弱いレトリバーよりも反復的に改善する新しいアプローチ(DistDR)を提案する。
論文 参考訳(メタデータ) (2021-10-10T20:01:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。