論文の概要: EvidenceRL: Reinforcing Evidence Consistency for Trustworthy Language Models
- arxiv url: http://arxiv.org/abs/2603.19532v1
- Date: Fri, 20 Mar 2026 00:12:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 19:48:38.922039
- Title: EvidenceRL: Reinforcing Evidence Consistency for Trustworthy Language Models
- Title(参考訳): EvidenceRL:信頼できる言語モデルのためのエビデンス一貫性の強化
- Authors: J. Ben Tamo, Yuxing Lu, Benoit L. Marteau, Micky C. Nnamdi, May D. Wang,
- Abstract要約: LLM(Large Language Models)は流動性があるが幻覚を起こす傾向があり、有効な証拠によって裏付けられるように思える答えを生み出す。
トレーニング中に証拠の付着を強制する強化学習フレームワークである textbfEvidenceRL を紹介する。
EvidenceRLは,タスク精度を犠牲にすることなく,根拠と忠実性を一貫して改善する。
- 参考スコア(独自算出の注目度): 8.459998348657827
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are fluent but prone to hallucinations, producing answers that appear plausible yet are unsupported by available evidence. This failure is especially problematic in high-stakes domains where decisions must be justified by verifiable information. We introduce \textbf{EvidenceRL}, a reinforcement learning framework that enforces evidence adherence during training. EvidenceRL scores candidate responses for grounding (entailment with retrieved evidence and context) and correctness (agreement with reference answers) and optimizes the generator using Group Relative Policy Optimization (GRPO). We evaluate across two high-stakes domains, cardiac diagnosis and legal reasoning, where EvidenceRL consistently improves evidence grounding and faithfulness without sacrificing task accuracy. On cardiac diagnosis, F1@3 increases from 37.0 to 54.5 on Llama-3.2-3B while grounding ($G_{\max}@3$) rises from 47.6 to 78.2; hallucinations drop nearly 5$\times$ and evidence-supported diagnoses increase from 31.8\% to 61.6\%. On legal reasoning, EvidenceRL raises Faithfulness from 32.8\% to 67.6\% on Llama-3.1-8B, demonstrating consistent behavioral change across domains. Our code is open-sourced at https://github.com/Wizaaard/EvidenceRL.git.
- Abstract(参考訳): LLM(Large Language Models)は流動性があるが幻覚を起こす傾向があり、有効な証拠によって裏付けられるように思える答えを生み出す。
この失敗は、検証可能な情報によって決定を正当化しなければならない、ハイステークな領域で特に問題となる。
トレーニング中に証拠の付着を強制する強化学習フレームワークである「textbf{EvidenceRL}」を紹介した。
EvidenceRLは、グラウンドング(検索されたエビデンスとコンテキストによる制限)と正しさ(参照回答による保証)の候補応答をスコアし、グループ相対ポリシー最適化(GRPO)を使用してジェネレータを最適化する。
EvidenceRLは,タスク精度を犠牲にすることなく,根拠と忠実性を一貫して改善する。
心臓診断では、F1@3はLlama-3.2-3Bで37.0から54.5に増加し(G_{\max}@3$)、47.6から78.2に上昇する。
法的理由から、EvidenceRL は Llama-3.1-8B 上で Fithfulness を 32.8\% から 67.6\% に引き上げ、ドメイン間の一貫した行動変化を示す。
私たちのコードはhttps://github.com/Wizaaard/EvidenceRL.git.comでオープンソース化されています。
関連論文リスト
- Kestrel: Grounding Self-Refinement for LVLM Hallucination Mitigation [86.37623966653688]
大規模視覚言語モデル(LVLM)はますます強まりつつあるが、マルチモーダルタスクにおいて幻覚を起こす傾向にある。
幻覚を避けるためにこれらのLVLMを訓練することは、より大きなモデルでは違法に高価になるため、トレーニングフリーな手法はこの問題に対して安価で柔軟な解決策を提供する。
我々は,視覚的視覚的接地剤とエビデンスを検証した自己修復機構を組み合わせた,LVLM幻覚軽減のためのトレーニングフリーフレームワークであるKestrelを提案する。
論文 参考訳(メタデータ) (2026-03-17T15:30:47Z) - Tool Verification for Test-Time Reinforcement Learning [70.09740926883818]
テスト時強化学習(TTRL)は、大規模推論モデルの自己進化のための有望なパラダイムとして登場した。
本稿では,T3RL(Tool-Verification for Test-Time Reinforcement Learning)を提案する。
論文 参考訳(メタデータ) (2026-03-02T18:57:52Z) - LongRLVR: Long-Context Reinforcement Learning Requires Verifiable Context Rewards [51.45138356629732]
我々は,疎解報酬を高密度で検証可能な文脈報酬で増強するためにLongRLVRを導入する。
この補助信号は、正しい接地情報を選択するためのモデルを直接インセンティブ化する。
LongRLVRは、すべてのモデルとベンチマークで標準のRLVRよりも一貫して、大幅に優れています。
論文 参考訳(メタデータ) (2026-03-02T18:07:53Z) - Predicting LLM Correctness in Prosthodontics Using Metadata and Hallucination Signals [4.680384065487852]
大規模言語モデル (LLM) は、医療や医学教育などの高度な領域で採用されている。
本研究では, 汎用モデル (GPT-4o) と推論中心モデル (OSS-120B) を多症例補綴学試験で解析し, 正当性予測の可能性を検討した。
以上の結果から, このメタデータベースのアプローチは, 解答の正解を前提として, 最大で+7.14%の精度向上と83.12%の精度向上を達成できることが示唆された。
論文 参考訳(メタデータ) (2025-12-27T07:51:50Z) - Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。
LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
論文 参考訳(メタデータ) (2025-11-15T02:50:23Z) - Evaluating Reasoning Faithfulness in Medical Vision-Language Models using Multimodal Perturbations [19.488236277427358]
視覚言語モデル(VLM)は、しばしばチェーン・オブ・シント(CoT)の説明を生み出す。
胸部X線視覚質問応答(VQA)の臨床的基盤として,制御されたテキストと画像修正を用いてCoT忠実度を探索するフレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-13T09:28:22Z) - TinyV: Reducing False Negatives in Verification Improves RL for LLM Reasoning [11.573904453859098]
強化学習(RL)は,大規模言語モデル(LLM)の推論能力を高める強力なツールとなった。
しかし、RLの成功は、検証者によって提供される報酬の信頼性に依存している。
本稿では, 正のモデル出力を誤って拒否する不適切な負の問題を公開し, 解析する。
既存のルールベースの手法を拡張する軽量なLCMベースの検証器である littleV を提案する。
論文 参考訳(メタデータ) (2025-05-20T17:16:44Z) - Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。
実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。
RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
論文 参考訳(メタデータ) (2025-04-17T16:46:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。