論文の概要: The Paradox of Outcome Optimization: A Causal Information-Theoretic Bound on Reasoning Shortcuts in LLMs

• arxiv url: http://arxiv.org/abs/2606.00674v1
• Date: Sat, 30 May 2026 11:06:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.587836
• Title: The Paradox of Outcome Optimization: A Causal Information-Theoretic Bound on Reasoning Shortcuts in LLMs
• Title（参考訳）: アウトカム最適化のパラドックス:LLMにおける推論ショートカットに関する因果情報理論境界
• Abstract要約: 結果に基づく強化学習(RL)を通じて整列された大規模言語モデル(LLM)は、しばしば重大な障害モードを示す。 我々は,このパラドックスを説明するために,構造因果モデル(SCM)と情報ボトルネック(IB)の原理をブリッジする理論的枠組みを確立する。
• 参考スコア（独自算出の注目度）: 5.802098323678549
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) aligned via outcome-based Reinforcement Learning (RL) frequently exhibit a critical failure mode: they achieve high performance on in-distribution benchmarks while demonstrating brittle reasoning capabilities on out-of-distribution (OOD) tasks. We term this phenomenon Reward-Induced Manifold Collapse. We establish a theoretical framework bridging Structural Causal Models (SCM) and the Information Bottleneck (IB) principle to explain this paradox. We define reasoning as a high-complexity causal process and shortcut learning as the exploitation of low-complexity spurious correlations. Under the implicit inductive bias of Stochastic Gradient Descent (SGD), models optimized for outcome rewards are biased toward shortcut solutions whenever the training distribution allows for a ``Markovian Screening'' of the true causal mechanism. We derive a new generalization bound based on Semantic Coverage Measure ($η$) rather than sample size, showing why data scaling on homogeneous distributions may fail to correct reasoning flaws. We also show that Process Reward Models (PRMs) function as Topological Filters, enforcing step-wise mutual information constraints that render the low-complexity shortcut manifold inadmissible. These results provide a mathematical grounding for the role of process supervision beyond simple credit assignment.
• Abstract（参考訳）: 結果に基づく強化学習(RL)を通じて整列された大規模言語モデル(LLM)は、しばしば重要な障害モードを示す。 この現象をReward-induced Manifold Collapseと呼ぶ。 我々は,このパラドックスを説明するために,構造因果モデル(SCM)と情報ボトルネック(IB)の原理をブリッジする理論的枠組みを確立する。 我々は、推論を高複雑さ因果過程と定義し、ショートカット学習を低複雑さ素因因果相関の活用として定義する。 Stochastic Gradient Descent (SGD) の暗黙的帰納バイアスの下では、トレーニング分布が真の因果メカニズムの ‘Markovian Screening'' を許容するたびに、結果報酬に最適化されたモデルはショートカットソリューションにバイアスされる。 サンプルサイズではなくセマンティック被覆測度(η$)に基づく新たな一般化が導出され、なぜ等質分布上のデータスケーリングが理由の正しさを損なうのかが示される。 また,プロセス・リワード・モデル(PRM)がトポロジカル・フィルタとして機能し,低複雑さのショートカット多様体を許容できない段階的な相互情報制約を課していることを示す。 これらの結果は、単純なクレジット代入以上のプロセス監督の役割に関する数学的根拠を提供する。

関連論文リスト

• To Reason or to Fabricate: Reasoning Without Shortcuts via Hint-Anchored Pairwise Aggregation [20.92880098291496]
  HIPPOはヒント注入アグリゲーションとペアワイズ報酬モデルを統合する新しいRLフレームワークである。 極めて識別可能な選好信号を提供し、軽量な判断モデルにより真の推論推論を確実に識別することができる。
  論文  参考訳（メタデータ） (2026-06-28T16:21:04Z)
• CausalFlip: A Benchmark for LLM Causal Judgment Beyond Semantic Matching [50.65932158912512]
  そこで我々は,新しい大言語モデルの開発を促進するために,因果推論ベンチマークCausalFlipを提案する。 CaulFlipは、イベントトリプル上に構築された因果判断の質問で構成されており、共同創設者、チェーン、コライダーの関係が異なっている。 回答のみのトレーニング,明示的なチェーン・オブ・ソート監視,そして内在型因果推論アプローチなどを含む,複数の訓練パラダイムによるLCMの評価を行った。
  論文  参考訳（メタデータ） (2026-02-23T18:06:15Z)
• How and Why LLMs Generalize: A Fine-Grained Analysis of LLM Reasoning from Cognitive Behaviors to Low-Level Patterns [51.02752099869218]
  大きな言語モデル(LLM)は、非常に異なる一般化の振る舞いを示す。 推論を原子核スキルに分解する新しいベンチマークを導入する。 SFTモデルはよりシャープなドリフトと表面パターンへの過度な適合を示すのに対し、RL型モデルはより安定した行動プロファイルを維持し、推論スキルの崩壊に抵抗することを示す。
  論文  参考訳（メタデータ） (2025-12-30T08:16:20Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• Consistency Is Not Always Correct: Towards Understanding the Role of Exploration in Post-Training Reasoning [75.79451512757844]
  基礎モデルは幅広い知識を示すが、タスク固有の推論は限定的である。 RLVRと推論スケーリングは、RLVRや推論スケーリングのようなトレーニング後の戦略を動機付けます。 RLVRはスキューズ効果を誘発し,推論エントロピーを減少させ,正しい経路を忘れることを示した。
  論文  参考訳（メタデータ） (2025-11-10T18:25:26Z)
• Truthful or Fabricated? Using Causal Attribution to Mitigate Reward Hacking in Explanations [30.68740512996253]
  思考の連鎖の説明は、大きな言語モデルの決定過程を調べるために広く使われている。 これらの説明の忠実さを必然的に低減することができることを示す。
  論文  参考訳（メタデータ） (2025-04-07T17:49:23Z)
• The Curse of CoT: On the Limitations of Chain-of-Thought in In-Context Learning [56.574829311863446]
  CoT(Chain-of-Thought)プロンプトは,大規模言語モデル(LLM)における推論能力の向上によって広く認識されている。 我々は、CoTとその推論変異が、様々なモデルスケールやベンチマークの複雑さに対して、直接応答を一貫して過小評価していることを実証する。 パターンベースICLにおけるCoTの性能を駆動する明示的単純推論の基本的なハイブリッド機構を明らかにする。
  論文  参考訳（メタデータ） (2025-04-07T13:51:06Z)
• Revisiting Spurious Correlation in Domain Generalization [12.745076668687748]
  データ生成プロセスにおける因果関係を記述するために,構造因果モデル(SCM)を構築した。 さらに、スプリアス相関に基づくメカニズムを徹底的に分析する。 そこで本研究では,OOD一般化における共起バイアスの制御について,相対性スコア重み付き推定器を導入して提案する。
  論文  参考訳（メタデータ） (2024-06-17T13:22:00Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。