論文の概要: EvidenceRL: Reinforcing Evidence Consistency for Trustworthy Language Models
- arxiv url: http://arxiv.org/abs/2603.19532v1
- Date: Fri, 20 Mar 2026 00:12:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 19:48:38.922039
- Title: EvidenceRL: Reinforcing Evidence Consistency for Trustworthy Language Models
- Title(参考訳): EvidenceRL:信頼できる言語モデルのためのエビデンス一貫性の強化
- Abstract要約: LLM(Large Language Models)は流動性があるが幻覚を起こす傾向があり、有効な証拠によって裏付けられるように思える答えを生み出す。
トレーニング中に証拠の付着を強制する強化学習フレームワークである textbfEvidenceRL を紹介する。
EvidenceRLは,タスク精度を犠牲にすることなく,根拠と忠実性を一貫して改善する。
- 参考スコア(独自算出の注目度): 8.459998348657827
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are fluent but prone to hallucinations, producing answers that appear plausible yet are unsupported by available evidence. This failure is especially problematic in high-stakes domains where decisions must be justified by verifiable information. We introduce \textbf{EvidenceRL}, a reinforcement learning framework that enforces evidence adherence during training. EvidenceRL scores candidate responses for grounding (entailment with retrieved evidence and context) and correctness (agreement with reference answers) and optimizes the generator using Group Relative Policy Optimization (GRPO). We evaluate across two high-stakes domains, cardiac diagnosis and legal reasoning, where EvidenceRL consistently improves evidence grounding and faithfulness without sacrificing task accuracy. On cardiac diagnosis, F1@3 increases from 37.0 to 54.5 on Llama-3.2-3B while grounding ($G_{\max}@3$) rises from 47.6 to 78.2; hallucinations drop nearly 5$\times$ and evidence-supported diagnoses increase from 31.8\% to 61.6\%. On legal reasoning, EvidenceRL raises Faithfulness from 32.8\% to 67.6\% on Llama-3.1-8B, demonstrating consistent behavioral change across domains. Our code is open-sourced at https://github.com/Wizaaard/EvidenceRL.git.
- Abstract(参考訳): LLM(Large Language Models)は流動性があるが幻覚を起こす傾向があり、有効な証拠によって裏付けられるように思える答えを生み出す。
この失敗は、検証可能な情報によって決定を正当化しなければならない、ハイステークな領域で特に問題となる。
トレーニング中に証拠の付着を強制する強化学習フレームワークである「textbf{EvidenceRL}」を紹介した。
EvidenceRLは、グラウンドング(検索されたエビデンスとコンテキストによる制限)と正しさ(参照回答による保証)の候補応答をスコアし、グループ相対ポリシー最適化(GRPO)を使用してジェネレータを最適化する。
EvidenceRLは,タスク精度を犠牲にすることなく,根拠と忠実性を一貫して改善する。
心臓診断では、F1@3はLlama-3.2-3Bで37.0から54.5に増加し(G_{\max}@3$)、47.6から78.2に上昇する。
法的理由から、EvidenceRL は Llama-3.1-8B 上で Fithfulness を 32.8\% から 67.6\% に引き上げ、ドメイン間の一貫した行動変化を示す。
私たちのコードはhttps://github.com/Wizaaard/EvidenceRL.git.comでオープンソース化されています。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳(メタデータ) (2026-09-10T08:34:56Z) - TRACE: Training Reasoning Agents for Causal Exploration with Synthesized Rewards [15.908097225313968]
検証可能な報酬付き強化学習(RLVR)は、数学やコードなどの分野において高度な言語モデル推論を持つ。
この検証の非対称性を設計できるかどうかを問う。
本手法は,12の根本原因と細粒度セグメント属性を有するデジタル広告診断環境であるTRACEで実現した。
論文 参考訳(メタデータ) (2026-09-09T15:21:47Z) - MedAgent-R1: Faithfulness-Aware Reinforcement Learning for Evidence-Grounded Medical Reasoning [6.676492026608371]
RL学習検索エージェントにおける系統的障害モードを同定する。
私たちは、忠実な報酬デザインでこの問題に対処します。
結果として得られるMedAgent-R1は、励起生成を31.8%から4.7%に減少させる。
論文 参考訳(メタデータ) (2026-08-31T12:19:41Z) - Finding the Right Evidence: Factor-Guided Coarse-to-Fine Reasoning for Long Videos [50.28847179290796]
PACEは、長期的な証拠取得のためのファクター誘導フレームワークである。
オープンソースのQwen3-VLバックボーンを持つMMR-Vでは、PACEは42.6%の精度を達成している。
論文 参考訳(メタデータ) (2026-08-26T19:38:17Z) - Evidence-RL: Towards Evidence-intensive Visual Reasoning [42.129341199654654]
VLM(Vision-Language Models)は、言語やデータセットのショートカット、あるいは無関係な視覚的コンテキストよりも、具体的な画像証拠から答えるべきである。
本稿では,VLM接地のための訓練時間的エビデンス監査であるCED(Courerfactual Evidence Disentanglement)を提案する。
CEDはオブジェクト中心のエビデンス領域を中和し、その結果の非エビデンス領域に対するサポートドロップを比較する。
論文 参考訳(メタデータ) (2026-08-08T09:02:10Z) - CalBrief: A Pilot Diagnostic Benchmark for Evidence-Calibrated Scientific Briefing with Large Language Models [8.057966659934769]
大規模言語モデル (LLMs) は研究助手としての利用が増えているが, 支持する証拠の強さと範囲について, 研究成果を校正できるかどうかは不明である。
我々は,エビデンスを校正した科学的ブリーフィングについて検討する: 関連論文の束縛されたパッケージを考えると,システムはエビデンス強度,スコープ境界,欠落したエビデンス注意点を備えたパッケージレベルのテイクアウトを生成するべきである。
私たちは、ブリーフィングが故障した場所を特定するための診断プローブとして、監査可能なロール/ギャップ/強度フレームワークであるCalBriefを使用します。
論文 参考訳(メタデータ) (2026-06-11T06:49:52Z) - Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs [59.62441340813425]
我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。
3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。
機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
論文 参考訳(メタデータ) (2026-05-08T02:40:12Z) - Pause or Fabricate? Training Language Models for Grounded Reasoning [50.104657152302956]
不完全情報に基づくグラウンドド推論のために,対話型強化学習(GRIL)によるグラウンドド推論を提案する。
GRILは推論プロセスを2つの段階に分解する: 明確化と一時停止、利用可能な情報が十分かどうかを識別する。
GSM8K-InsufficientおよびMetaMATH-Insufficientの実験では、GRILは前提検出を大幅に改善し(最大45%)、平均応答長を20%以上削減しながらタスク成功率が30%向上した。
論文 参考訳(メタデータ) (2026-04-21T16:45:29Z) - Kestrel: Grounding Self-Refinement for LVLM Hallucination Mitigation [86.37623966653688]
大規模視覚言語モデル(LVLM)はますます強まりつつあるが、マルチモーダルタスクにおいて幻覚を起こす傾向にある。
幻覚を避けるためにこれらのLVLMを訓練することは、より大きなモデルでは違法に高価になるため、トレーニングフリーな手法はこの問題に対して安価で柔軟な解決策を提供する。
我々は,視覚的視覚的接地剤とエビデンスを検証した自己修復機構を組み合わせた,LVLM幻覚軽減のためのトレーニングフリーフレームワークであるKestrelを提案する。
論文 参考訳(メタデータ) (2026-03-17T15:30:47Z) - Tool Verification for Test-Time Reinforcement Learning [70.09740926883818]
テスト時強化学習(TTRL)は、大規模推論モデルの自己進化のための有望なパラダイムとして登場した。
本稿では,T3RL(Tool-Verification for Test-Time Reinforcement Learning)を提案する。
論文 参考訳(メタデータ) (2026-03-02T18:57:52Z) - LongRLVR: Long-Context Reinforcement Learning Requires Verifiable Context Rewards [51.45138356629732]
我々は,疎解報酬を高密度で検証可能な文脈報酬で増強するためにLongRLVRを導入する。
この補助信号は、正しい接地情報を選択するためのモデルを直接インセンティブ化する。
LongRLVRは、すべてのモデルとベンチマークで標準のRLVRよりも一貫して、大幅に優れています。
論文 参考訳(メタデータ) (2026-03-02T18:07:53Z) - Predicting LLM Correctness in Prosthodontics Using Metadata and Hallucination Signals [4.680384065487852]
大規模言語モデル (LLM) は、医療や医学教育などの高度な領域で採用されている。
本研究では, 汎用モデル (GPT-4o) と推論中心モデル (OSS-120B) を多症例補綴学試験で解析し, 正当性予測の可能性を検討した。
以上の結果から, このメタデータベースのアプローチは, 解答の正解を前提として, 最大で+7.14%の精度向上と83.12%の精度向上を達成できることが示唆された。
論文 参考訳(メタデータ) (2025-12-27T07:51:50Z) - Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。
LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
論文 参考訳(メタデータ) (2025-11-15T02:50:23Z) - Evaluating Reasoning Faithfulness in Medical Vision-Language Models using Multimodal Perturbations [19.488236277427358]
視覚言語モデル(VLM)は、しばしばチェーン・オブ・シント(CoT)の説明を生み出す。
胸部X線視覚質問応答(VQA)の臨床的基盤として,制御されたテキストと画像修正を用いてCoT忠実度を探索するフレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-13T09:28:22Z) - TinyV: Reducing False Negatives in Verification Improves RL for LLM Reasoning [11.573904453859098]
強化学習(RL)は,大規模言語モデル(LLM)の推論能力を高める強力なツールとなった。
しかし、RLの成功は、検証者によって提供される報酬の信頼性に依存している。
本稿では, 正のモデル出力を誤って拒否する不適切な負の問題を公開し, 解析する。
既存のルールベースの手法を拡張する軽量なLCMベースの検証器である littleV を提案する。
論文 参考訳(メタデータ) (2025-05-20T17:16:44Z) - Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。
実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。
RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
論文 参考訳(メタデータ) (2025-04-17T16:46:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。