論文の概要: Chain of Faith: Policy-Internal Rewards for Reasoning Reliance

• arxiv url: http://arxiv.org/abs/2611.02672v1
• Date: Mon, 02 Nov 2026 07:27:18 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:25:36.254992
• Title: Chain of Faith: Policy-Internal Rewards for Reasoning Reliance
• Title（参考訳）: 信仰の連鎖--「信頼の推論」に対する政策内部の反省
• Abstract要約: チェーン・オブ・シントの説明は、モデルの最終回答にほとんど影響を与えないまま、妥当に聞こえる。 政策独自のシグナルを用いて、生成された推論への依存を促進する4つの報奨について検討する。
• 参考スコア（独自算出の注目度）: 6.976383746836588
• License:
• Abstract: Chain-of-thought (CoT) explanations can sound plausible while having little influence on a model's final answer. We study four rewards that use the policy's own signals to encourage reliance on generated reasoning: gradient sensitivity, confidence gaps, progressive confidence gains, and reasoning--prompt swaps. We add each reward to group relative policy optimization (GRPO) and evaluate two small instruction-tuned models on GSM8K and StrategyQA using reasoning edits, paraphrases, and prompt hints. Several configurations increase answer reliance to reasoning edits, while effects on accuracy and paraphrase robustness vary. We also observe answer copying at a high reward weight and high reliance in decomposition settings with poor task accuracy. The study compares practical objectives for reasoning reliance, confirms the trade-off between reliance and performance, and proposes four lightweight rewards that can improve reasoning reliance.
• Abstract（参考訳）: チェーン・オブ・シント(CoT)の説明は、モデルの最終回答にほとんど影響を与えないまま、妥当に聞こえる。 我々は、政策独自の信号を用いて、発生した推論への依存を促進する4つの報酬、すなわち、勾配感度、信頼ギャップ、進歩的信頼の獲得、そして推論スワップを調査する。 グループ相対ポリシー最適化(GRPO)に各報酬を加え、推論編集、パラフレーズ、プロンプトヒントを用いて、GSM8KとStrategyQAの2つの小さな命令調整モデルを評価する。 いくつかの構成は、推論編集への回答依存を増大させ、精度とパラフレーズの堅牢性に影響を及ぼす。 また,タスク精度の低い分解条件において,高い報酬重みと高い信頼度で回答の写しを観察する。 本研究は、信頼性を推論するための実践的目標を比較し、信頼性と性能のトレードオフを確認し、信頼性の推論を改善するための4つの軽量報酬を提案する。

関連論文リスト

• Not All Tokens Deserve Equal Credit: Counterfactual Sensitivity Credit Reallocation for Long-CoT Reasoning [3.9783774144289623]
  GRPOのような批判のない方法は、応答レベルの報酬を利点に変換し、トークン間で均一にブロードキャストする。 本稿では,高感度トークンのクレジットを低減するGRPOの簡易拡張であるCSCRを提案する。 long-CoTの数学的推論ベンチマークでは、CSCRはGRPOベースラインを同じ数のポリシー更新で一貫して上回っている。
  論文  参考訳（メタデータ） (2026-07-30T09:03:33Z)
• CoRA: Confidence-Rationale Alignment for Reliable Chain-of-Thought Reasoning [8.460516555473747]
  CoT推論(Chain-of- Thought, CoT)はLLM性能を向上させることができるが、それに伴うCoT論理が不完全あるいは不十分な場合に、高い応答信頼度が誤解を招く可能性がある。 我々は、モデルがコミットした回答に対する信頼が、生成した根拠によって正当化されるかどうか、信頼-規制の整合性について研究する。 本稿では,GRPOに基づく強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-12T21:10:33Z)
• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• Prioritizing the Best: Incentivizing Reliable Multimodal Reasoning by Rewarding Beyond Answer Correctness [26.85256114041302]
  検証可能なリワードによる強化学習は、検証可能な最終回答に報酬を与えることで、マルチモーダル推論を改善する。 この回答の正しさと推論の妥当性のギャップは、マルチモーダルRLにおける軌道監督を動機付けている。 グループワイドランキング Reward は、1回のパスで同じプロンプトに対して検証器が通過した軌跡をランク付けし、それに応じて報酬を再分配する。
  論文  参考訳（メタデータ） (2026-04-20T22:28:07Z)
• Balancing Faithfulness and Performance in Reasoning via Multi-Listener Soft Execution [79.98699884805636]
  Reasoning Execution by Multiple Listeners (REMUL) は多人数の強化学習手法である。 REMULは、推論が他の当事者に従えるかがより忠実になるという仮説に基づいている。 スピーカーは、リスナーにとって明らかな推論を生み出すことで報われます。
  論文  参考訳（メタデータ） (2026-02-18T02:55:55Z)
• Towards Generalizable Reasoning: Group Causal Counterfactual Policy Optimization for LLM Reasoning [50.352417879912515]
  大規模言語モデル(LLM)は推論能力の進歩とともに複雑なタスクに優れる。 一般化可能な推論パターンを学習するために,LLMを明示的に訓練するためのグループ因果政策最適化を提案する。 次に、この報酬からトークンレベルのアドバンテージを構築し、ポリシーを最適化し、LCMにプロセス無効で事実上堅牢な推論パターンを推奨します。
  論文  参考訳（メタデータ） (2026-02-06T08:03:11Z)
• Stop Rewarding Hallucinated Steps: Faithfulness-Aware Step-Level Reinforcement Learning for Small Reasoning Models [59.6715047267181]
  小さな推論モデル(SRM)は、特に中間的推論ステップにおいて幻覚を起こす傾向がある。 オンライン強化学習に基づく既存の緩和手法は、結果に基づく報酬や粗粒度の連鎖評価に依存している。 本稿では、プロセス報酬モデルから、明示的な忠実度報酬を通じてステップレベルの監視を導入する、Fithfulness-Aware Step-Level Reinforcement Learning (FaithRL)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T17:15:12Z)
• Causally-Enhanced Reinforcement Policy Optimization [36.523007244998695]
  Causally-Enhanced Policy Optimization (CE-PO)は、因果一貫性のための異なるプロキシでポリシー最適化を強化する、ドロップイン報酬形成フレームワークである。 CE-POは、ヤコビアンに基づく感性によるモデル内部の影響を推定し、これらのシグナルを反実的に硬化させてニュアンスを抑えるとともに、結果のコヒーレンススコアをタスク精度フィードバックと融合させる。 4つのデータセットにわたる実験結果から、CE-POは平均で5.49%の精度(最大9.58%)を向上し、相関因果フリップや光対実編集による堅牢性を改善した。
  論文  参考訳（メタデータ） (2025-09-27T04:10:16Z)
• Self-Aligned Reward: Towards Effective and Efficient Reasoners [16.740993145927774]
  自己整合報酬 (Self-aligned reward, SAR) は、検証可能な報酬を補完し、推論精度と効率の両方を奨励する自己誘導信号である。 SARは, 正確さ, 正解スコアが冗長性よりも高く, 正解スコアが完全誤解よりも高いという, 解答品質を確実に区別することを示す。
  論文  参考訳（メタデータ） (2025-09-05T20:39:43Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。