論文の概要: Observable Patterns Are Not Explanations: A Causal-Geometric Analysis of Latent Reasoning Models
- arxiv url: http://arxiv.org/abs/2606.12689v1
- Date: Wed, 10 Jun 2026 21:23:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.468641
- Title: Observable Patterns Are Not Explanations: A Causal-Geometric Analysis of Latent Reasoning Models
- Title(参考訳): 観測可能なパターンは説明できない:潜在推論モデルの因果幾何学的解析
- Authors: Darpan Aswal, Thomas Palmeira Ferraz, Yongxin Zhou, Maxime Peyrard,
- Abstract要約: 潜在推論モデルは、明示的な思考の連鎖を連続的な思考に置き換える。
最近の研究は、内部推論機構の証拠として、BFSのようなフロンティアや復調可能な算術のような観測可能な潜在状態パターンを扱う。
因果的介入は、潜在思想的利用は二分法ではなく、段階的に行われ、思考がモデル行動に因果的影響を持つことを示している。
- 参考スコア(独自算出の注目度): 7.0678190739047375
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Latent reasoning models (LRMs) replace explicit chain-of-thought with continuous thoughts. Recent work treats observable latent-state patterns, such as BFS-like frontiers and decodable arithmetic computation, as evidence for internal reasoning mechanisms. Evaluating two LRMs (Coconut and CODI) against controls lacking the proposed recurrence or curriculum, we find these patterns also appear in the controls and do not always causally affect behavior. Causal interventions reveal that latent-thought utilization is not binary but graded, scaling with a thought's causal effect on model behavior. Geometric analyses reveal this effect concentrates in low-rank directions whose step-to-step geometry grows more structured as their behavioral influence increases. Latent thoughts should therefore be treated as hidden computation, not hidden explanation: decodability, attention, or static structure alone cannot establish mechanism. LRM interpretability thus requires matched controls and causal tests.
- Abstract(参考訳): 潜在推論モデル(LRM)は、明示的な思考の連鎖を連続的な思考に置き換える。
最近の研究は、内部推論機構の証拠として、BFSのようなフロンティアや復調可能な算術計算のような観測可能な潜在状態パターンを扱っている。
2つのLCM(ココナッツとCODI)を、提案された再発やカリキュラムを欠いたコントロールに対して評価した結果、これらのパターンが制御に現れ、必ずしも行動に因果関係がないことがわかった。
因果的介入は、潜在思想的利用は二分法ではなく、段階的に行われ、思考がモデル行動に因果的影響を持つことを示している。
幾何学的分析により、この効果は、その行動の影響が増加するにつれて、ステップ・ツー・ステップの幾何学がより構造的に成長する低ランクな方向に集中していることが分かる。
したがって、潜在思考は隠された計算として扱われるべきであり、隠された説明ではない。
したがって、LRMの解釈には一致した制御と因果テストが必要である。
関連論文リスト
- Consistency Is Not Always Correct: Towards Understanding the Role of Exploration in Post-Training Reasoning [75.79451512757844]
基礎モデルは幅広い知識を示すが、タスク固有の推論は限定的である。
RLVRと推論スケーリングは、RLVRや推論スケーリングのようなトレーニング後の戦略を動機付けます。
RLVRはスキューズ効果を誘発し,推論エントロピーを減少させ,正しい経路を忘れることを示した。
論文 参考訳(メタデータ) (2025-11-10T18:25:26Z) - Reasoning or Retrieval? A Study of Answer Attribution on Large Reasoning Models [15.797612515648412]
大きな推論モデル (LRMs) は、Chain-of-Thought (CoT) 推論を通じて複雑な問題を解く際、前例のない能力を示す。
最近の研究では、彼らの最後の答えは、しばしば彼ら自身の推論の痕跡と矛盾していることが明らかになっている。
この矛盾は、CoT推論とメモリ検索という2つの競合メカニズムに起因していると仮定する。
本稿では,メモリアンラーニングと強化学習を統合したファインチューニングフレームワークFARLを紹介する。
論文 参考訳(メタデータ) (2025-09-29T01:13:33Z) - When Thinking Backfires: Mechanistic Insights Into Reasoning-Induced Misalignment [23.096167213579957]
Reasoning-induced Misalignment (RIM) は推論能力が強化されたときに現れる。
RIMは推論やトレーニング中に特定のタイプの推論パターンが導入されたときに発生する。
トレーニング中、安全クリティカルニューロンの推論と安全性の間には、アクティベーションの絡み合いが著しく高いことが判明した。
論文 参考訳(メタデータ) (2025-08-30T16:04:54Z) - From "Aha Moments" to Controllable Thinking: Toward Meta-Cognitive Reasoning in Large Reasoning Models via Decoupled Reasoning and Control [11.321315058502215]
大規模推論モデル(LRM)は、ステップバイステップの推論、リフレクション、バックトラッキングなどの認知行動を自発的に示すことで、複雑な推論の潜在能力を示した。
しかし、そのような創発的行動は規制されず、制御されていないままであり、しばしば過度に考え直され、モデルが信頼できる結論に達した後も冗長な推論内容を生成し続ける。
現在のモデルは、いつ継続するか、バックトラックするか、終了するかを決定するために、彼らの推論プロセスを監視し、適応的に管理できない。
我々はメタ認知推論フレームワーク(MERA)を提案する。
論文 参考訳(メタデータ) (2025-08-06T13:59:17Z) - A Comment On "The Illusion of Thinking": Reframing the Reasoning Cliff as an Agentic Gap [0.39073867995073247]
我々は、観測された失敗は基本的な認知境界の証拠ではなく、システムレベルの制約の予測可能な結果であると主張している。
当初、テキストのみの世代に限定してパズルを宣言することは不可能であると宣言されたモデルは、現在ではエージェントツールを使用して解決するだけでなく、それまで克服できなかった難易度をはるかに超える複雑さを習得している。
論文 参考訳(メタデータ) (2025-06-23T17:14:21Z) - Reasoning Can Hurt the Inductive Abilities of Large Language Models [16.996890415549952]
しばしば、Large Reasoning Models (LRM) で用いられるように、チェーン・オブ・シント(CoT)はそのような推論を促進すると仮定される。
隠れた人間定義ルールでゲームベースの4つの制御されたタスクを作成することで、この仮定を考察する。
CoT推論は帰納的性能を低下させる可能性があり, LRMは非推論的性能を低下させることが多い。
論文 参考訳(メタデータ) (2025-05-30T05:24:21Z) - Let LRMs Break Free from Overthinking via Self-Braking Tuning [68.93713497579853]
大きな推論モデル(LRM)は思考の長い連鎖を生成することによって推論能力を著しく向上させた。
この性能向上は、生成プロセス中の冗長な推論を大幅に増加させるコストが伴う。
本稿では、モデルが独自の推論プロセスを制御することを許容する観点から、過度に検討する新しいフレームワーク、Self-Braking Tuning(SBT)を提案する。
論文 参考訳(メタデータ) (2025-05-20T16:53:40Z) - ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。
Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。
純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
論文 参考訳(メタデータ) (2021-03-26T02:42:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。