論文の概要: Intrinsic Stability Limits of Autoregressive Reasoning: Structural Consequences for Long-Horizon Execution
- arxiv url: http://arxiv.org/abs/2602.06413v1
- Date: Fri, 06 Feb 2026 06:11:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-09 22:18:26.255519
- Title: Intrinsic Stability Limits of Autoregressive Reasoning: Structural Consequences for Long-Horizon Execution
- Title（参考訳）: 自己回帰推論の本質的安定性限界:長距離実行における構造的結果
- Authors: Hsien-Jyh Liao,
- Abstract要約: 大規模言語モデル(LLM)は顕著な推論能力を示すが、長い水平タスクでは性能が著しく低下することが多い。
本稿では, 自己回帰生成におけるプロセスレベルの不安定性から, 長期的推論の基本的制約が生じることを示唆する。
本研究は, 完全自己回帰型アーキテクチャ下での長期コヒーレンス維持に新たな限界があることを示唆する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) demonstrate remarkable reasoning capabilities, yet their performance often deteriorates sharply in long-horizon tasks, exhibiting systematic breakdown beyond certain scales. Conventional explanations primarily attribute this phenomenon to task complexity, such as combinatorial search explosion or long-term credit assignment challenges. In this work, we argue that these explanations are incomplete: even in linear, unbranched tasks without semantic ambiguity, autoregressive execution is subject to an intrinsic stability limit. We propose that the fundamental constraint on long-horizon reasoning arises from process-level instability in autoregressive generation rather than solely from search or task complexity, reframing long-horizon reasoning as a problem of structural governance. We derive Theorem~A, showing that decision advantage in single-path autoregressive reasoning decays exponentially with execution length, imposing a fundamental bound on maintainable reasoning chains. This result implies a structural consequence: stable long-horizon reasoning requires discrete segmentation, naturally inducing graph-like execution structures such as directed acyclic graphs (DAGs). Empirical studies in both synthetic environments and real TextWorld tasks reveal observable performance cliffs consistent with theoretical predictions. Our findings provide a dynamical perspective on long-horizon reasoning failure and suggest new limitations on maintaining long-term coherence under purely autoregressive architectures. Furthermore, we highlight that short-horizon evaluation protocols may obscure structural instability, indicating a potential shift from scaling toward structured governance in future reasoning systems.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、顕著な推論能力を示すが、その性能は、長い水平タスクにおいて急激に悪化し、特定のスケールを超える体系的なブレークダウンを示す。
従来の説明では、この現象は、組合せ探索爆発や長期クレジット割り当て問題など、タスクの複雑さに起因している。
本研究では、これらの説明が不完全であると主張する。意味的あいまいさのない線形で分岐のないタスクであっても、自己回帰的実行は本質的な安定性の限界を受ける。
本稿では, 長期推論の基本的制約は, 探索やタスクの複雑さからではなく, 自己回帰生成におけるプロセスレベルの不安定性から生じ, 構造的ガバナンスの問題としての長期推論を緩和することを提案する。
単経路自己回帰推論における決定優位性は、実行長とともに指数関数的に崩壊し、維持可能な推論連鎖に基礎的拘束を与えることを示す定理~Aを導出する。
この結果は構造的な結果を示している: 安定な長期水平推論は離散的なセグメンテーションを必要とし、有向非巡回グラフ(DAG)のようなグラフのような実行構造を自然に誘導する。
合成環境と実際のTextWorldタスクの両方における実証研究は、理論的予測と一致した観測可能なパフォーマンスの限界を明らかにしている。
本研究は, 長期的推論失敗に対する動的視点を提供し, 完全自己回帰型アーキテクチャ下での長期的一貫性維持に対する新たな制約を提案する。
さらに、短期水平評価プロトコルは構造的不安定性を曖昧にし、将来の推論システムにおけるスケーリングから構造的ガバナンスへの移行の可能性を示している。
関連論文リスト
- Structured Reasoning for Large Language Models [59.215789462977206]
本研究では、推論を明示的、評価可能、トレーニング可能なコンポーネントに分解するフレームワークであるStructured Reasoning(SCR)を提案する。
SCRは推論効率と自己検証を大幅に改善する。
既存の推論パラダイムと比較して、出力トークンの長さを最大50%削減する。
論文 参考訳（メタデータ） (2026-01-12T04:04:01Z) - Constraint Breeds Generalization: Temporal Dynamics as an Inductive Bias [1.219017431258669]
制約は、制約としてではなく、一般化を生み出す時間的帰納バイアスとして機能する。
我々は、堅牢なAI開発には、制限のスケーリングと削除だけでなく、自然に一般化を促進する時間的特性を計算的にマスターする必要があることを示す。
論文 参考訳（メタデータ） (2025-12-30T00:34:24Z) - Understanding Chain-of-Thought in Large Language Models via Topological Data Analysis [28.69471462319666]
この研究は、構造的観点から推論チェーンの品質を分析し評価した最初のものである。
推論ステップを意味空間にマップし、トポロジ的特徴を抽出し、構造的変化を分析する。
その結果, 推論鎖のトポロジカルな構造複雑性は, 正の相関関係があることが示唆された。
論文 参考訳（メタデータ） (2025-12-22T08:28:08Z) - NeSTR: A Neuro-Symbolic Abductive Framework for Temporal Reasoning in Large Language Models [12.935644609836507]
ニューロシンボリックテンポラル推論(Neuro-Symbolic Temporal Reasoning、NeSTR)は、構造的シンボル表現とハイブリッド反射推論を統合する新しいフレームワークである。
NeSTRはシンボリックエンコーディングを通じて明確な時間的関係を保ち、検証を通じて論理的一貫性を強制し、帰納的反射を用いて欠陥のある推論を修正する。
論文 参考訳（メタデータ） (2025-12-08T06:58:23Z) - A Self-explainable Model of Long Time Series by Extracting Informative Structured Causal Patterns [22.54910673667678]
本稿では,解釈可能な時系列モデリングのための統合フレームワークEXCAPを提案する。
EXCAPは時間とともにスムーズで安定した説明を提供し、因果マスクの摂動に頑健であることを示す。
これらの結果から、EXCAPは、医療や金融といった高額な領域に関係した、時系列の解釈可能なモデリングに対して、原則的かつスケーラブルなアプローチを提供することを示している。
論文 参考訳（メタデータ） (2025-12-01T08:33:33Z) - Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。
結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。
カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
論文 参考訳（メタデータ） (2025-11-10T18:29:54Z) - Explainable Chain-of-Thought Reasoning: An Empirical Analysis on State-Aware Reasoning Dynamics [69.00587226225232]
本研究では,CoTトラジェクトリを構造化潜在力学に抽象化する状態認識遷移フレームワークを提案する。
推論のグローバルな構造を特徴づけるために、それらの進行をマルコフ連鎖としてモデル化する。
この抽象化は、意味的役割の識別、時間的パターンの可視化、一貫性評価など、さまざまな分析をサポートする。
論文 参考訳（メタデータ） (2025-08-29T18:53:31Z) - A Survey on Latent Reasoning [100.54120559169735]
大きな言語モデル(LLM)は印象的な推論機能を示している。
中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。
潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
論文 参考訳（メタデータ） (2025-07-08T17:29:07Z) - From Chaos to Order: The Atomic Reasoner Framework for Fine-grained Reasoning in Large Language Models [46.02816479205161]
我々は,微粒な推論を可能にする認知推論戦略であるtextbfAtomic Reasoner(textbfAR)を提案する。
ARは推論プロセスを原子認知単位に分解し、認知的ルーティング機構を使用する。
結果より, 完全解探索の計算負担を伴わないARの優れた推論能力を示す。
論文 参考訳（メタデータ） (2025-03-20T08:34:53Z) - Supporting Optimal Phase Space Reconstructions Using Neural Network
Architecture for Time Series Modeling [68.8204255655161]
位相空間特性を暗黙的に学習する機構を持つ人工ニューラルネットワークを提案する。
私たちのアプローチは、ほとんどの最先端戦略と同じくらいの競争力があるか、あるいは優れているかのどちらかです。
論文 参考訳（メタデータ） (2020-06-19T21:04:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。