Fugu-MT 論文翻訳(概要): FARCA: Fact-Aligned Reliability-Aware Credit Assignment for Reinforcement Learning with Factual Supervision

論文の概要: FARCA: Fact-Aligned Reliability-Aware Credit Assignment for Reinforcement Learning with Factual Supervision

arxiv url: http://arxiv.org/abs/2608.24350v1
Date: Tue, 25 Aug 2026 10:07:22 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-26 14:09:34.931423
Title: FARCA: Fact-Aligned Reliability-Aware Credit Assignment for Reinforcement Learning with Factual Supervision
Title（参考訳）: FARCA:Factual Supervisionによる強化学習のためのFact-Aligned Reliability-Aware Credit Assignment
Abstract要約: 本稿では,現実の監視を局所的かつ信頼性の高いトレーニング信号に変換する政策最適化フレームワークを提案する。 FARCAは、ファクト検証の粒度とポリシー更新の粒度を整合させることにより、きめ細かなクレジットローカライゼーションを実現する。さらに、重要な証拠に対する事実判断の依存を、信頼性の信頼性を計算し信頼性の重みを計算するための実証的なプロキシとして利用する、反事実的証拠の帰属も導入している。
参考スコア（独自算出の注目度）: 35.029900525863994
License: http://creativecommons.org/licenses/by/4.0/
Abstract: To reduce the hallucination risk caused by outcome-driven rewards in large language models trained through reinforcement learning with verifiable rewards, existing mitigation approaches introduce process-level factual supervision. However, due to coarse-grained aggregation of factual signals and the lack of reliability assessment for these signals, they create a mismatch between fact verification and policy updates. We term this noisy factual credit assignment and decompose it into two aspects: credit localization ambiguity and credit reliability ambiguity. To address these issues, we propose FARCA (Fact-Aligned Reliability-Aware Credit Assignment), a policy optimization framework that transforms factual supervision into localized, reliability-weighted token-level training signals. FARCA achieves fine-grained credit localization by aligning the granularity of fact verification with that of policy updates. It further introduces counterfactual evidence attribution, which uses the dependence of a factual judgment on key evidence as an empirical proxy for verification reliability to compute reliability weights. These weights modulate factual rewards and local policy advantages, reducing the influence of potentially unreliable signals on policy optimization. Experiments across different models and multiple factual reasoning benchmarks show that FARCA significantly improves model factuality while preserving general reasoning capabilities.
Abstract（参考訳）: 強化学習によって訓練された大規模言語モデルにおいて、結果駆動型報酬による幻覚リスクを低減するため、既存の緩和アプローチでは、プロセスレベルの事実管理が導入されている。しかし、事実信号の粗大な集約とこれらの信号に対する信頼性評価の欠如により、事実検証と政策更新のミスマッチが生じる。我々は、このノイズの多い事実的信用割り当てを、クレジットローカライゼーションの曖昧さと信用信頼性の曖昧さの2つの側面に分解する。これらの課題に対処するため,FARCA(Fact-Aligned Reliability-Aware Credit Assignment)を提案する。 FARCAは、ファクト検証の粒度とポリシー更新の粒度を整合させることにより、きめ細かなクレジットローカライゼーションを実現する。さらに、重要な証拠に対する事実判断の依存を、信頼性の信頼性を計算し信頼性の重みを計算するための実証的なプロキシとして利用する、反事実的証拠の帰属も導入している。これらの重みは事実報酬と地域政策の利点を変調し、潜在的に信頼できない信号が政策最適化に与える影響を減らす。異なるモデルにわたる実験と複数の事実推論ベンチマークにより、FARCAは一般的な推論能力を保ちながらモデル事実性を大幅に改善することが示された。

関連論文リスト

IntroConformal: Conformal Factuality Guarantees for Large Vision-Language Models via Introspective Signals [2.623527845999313]
モデル自体から派生したイントロスペクティブ信号を用いて,信頼性の高い事実性制御を実現することができると論じる。 IntroConformalはトレーニングフリーのコンフォーマルリスクコントロールフレームワークで、有限サンプルで配布不要な事実保証を提供する。
論文参考訳（メタデータ） (2026-09-01T15:09:56Z)
Verifiable Process Rewards for Agentic Reasoning [21.195739597726142]
検証可能な報酬(RLVR)による強化学習は、大規模言語モデル(LLM)の推論能力を向上させる。既存のアプローチのほとんどは、少ない結果レベルのフィードバックに依存しています。本稿では,これらのオーラクルを強化学習のための高密度なターンレベルの監視に変換するフレームワークであるVerifiable Process Rewards (VPR)を提案する。
論文参考訳（メタデータ） (2026-05-11T10:30:53Z)
Trust but Verify: Introducing DAVinCI -- A Framework for Dual Attribution and Verification in Claim Inference for Language Models [53.279391576560755]
大規模言語モデル(LLM)は、広範囲のNLPタスクにおいて顕著な流速と汎用性を示してきたが、実際的な不正確さと制限が伴う傾向にある。これは、信頼と妥当性が最優先される医療、法律、科学コミュニケーションといった、高リスク領域に重大なリスクをもたらす。 LLM出力の事実的信頼性と解釈可能性を高めるために設計されたDAVinCI - Dual Attribution and Verificationフレームワークを紹介する。
論文参考訳（メタデータ） (2026-04-23T01:37:50Z)
Differentiable Conformal Training for LLM Reasoning Factuality [6.534904345823168]
大きな言語モデル(LLM)は、しばしば幻覚し、重要なアプリケーションにおける信頼性を制限します。最近の研究は、Conformal Predictionを拡張して、リスクのあるクレームをフィルタリングし、幻覚率がユーザ指定レベル以下であることを保証する。そこで本研究では,従来のアルゴリズムの保証を確実に回復しつつ,改良されたスコアラーの学習を可能にする,完全微分可能コヒーレント・ファクタリティ(DCF)を導入する。
論文参考訳（メタデータ） (2026-04-22T01:35:31Z)
FACT-E: Causality-Inspired Evaluation for Trustworthy Chain-of-Thought Reasoning [49.65751420291115]
CoT(Chain-of-Thought)プロンプトはLSM推論を改善したが、モデルはしばしば不誠実な中間ステップを含むコヒーレントな説明を生成する。我々は、CoTの品質を評価するための因果性に着想を得たフレームワークであるFACT-Eを提案する。 FACT-Eは推論・軌道選択を改善し、文脈内学習を強くすることを示す。
論文参考訳（メタデータ） (2026-04-12T15:35:08Z)
When to Trust the Cheap Check: Weak and Strong Verification for Reasoning [26.38833436936642]
我々は、強い検証と弱い検証の間の緊張を形式化する。最適ポリシは2つの閾値構造を持ち,キャリブレーションとシャープネスが弱い検証器の値を支配することを示す。本研究では,クエリストリーム,言語モデル,弱検証器を仮定することなく,受入誤りや拒否誤りを確実に制御するオンラインアルゴリズムを開発した。
論文参考訳（メタデータ） (2026-02-19T18:47:38Z)
Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
論文参考訳（メタデータ） (2026-01-23T17:17:32Z)
Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking [64.97768177044355]
大規模言語モデル(LLM)は、現実のファクトチェックシステムにますます多くデプロイされている。 FactArenaは、完全に自動化されたアリーナスタイルの評価フレームワークである。本研究では,静的クレーム検証精度とエンドツーエンドのファクトチェック能力の相違点を明らかにした。
論文参考訳（メタデータ） (2026-01-06T02:51:56Z)
Fact-Checking with Large Language Models via Probabilistic Certainty and Consistency [7.806516365113592]
大規模言語モデル(LLM)は、事実の正確性を必要とするアプリケーションでますます使われている。事実チェックはこれらのエラーを軽減することができるが、既存の手法は通常、外的証拠を無差別に回収する。本稿では,確率的確実性と一貫性(PCC)について紹介する。
論文参考訳（メタデータ） (2026-01-05T21:57:41Z)
Co-Sight: Enhancing LLM-Based Agents via Conflict-Aware Meta-Verification and Trustworthy Reasoning with Structured Facts [18.221173068008603]
Co-Sightは推論を偽造可能で監査可能なプロセスに変える。コンフリクト・アウェア・メタ検証(CAMV)とTrustworthy Reasoning with Structured Facts(TRSF)の2つのメカニズム
論文参考訳（メタデータ） (2025-10-24T15:14:14Z)
FaithCoT-Bench: Benchmarking Instance-Level Faithfulness of Chain-of-Thought Reasoning [62.452350134196934]
FaithCoT-Benchは、インスタンスレベルのCoT不信検出のための統一ベンチマークである。我々の枠組みは差別的な決定問題として不誠実検出を定式化している。 FaithCoT-Bench は LLM のより解釈可能で信頼性の高い推論に向けた将来の研究の基盤となる。
論文参考訳（メタデータ） (2025-10-05T05:16:54Z)
Trust, But Verify: A Self-Verification Approach to Reinforcement Learning with Verifiable Rewards [67.86091419220816]
大規模言語モデル(LLM)は複雑な推論において非常に有望である。一般的な問題は表面的な自己回帰であり、モデルが自身の出力をしっかりと検証できない。本稿では、RISE(Reinforce Reasoning with Self-Verification)という新しいオンラインRLフレームワークについて紹介する。
論文参考訳（メタデータ） (2025-05-19T17:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。