論文の概要: Quantifying the Stability of Multi-Step Reasoning via Error Amplification

• arxiv url: http://arxiv.org/abs/2610.06404v1
• Date: Mon, 05 Oct 2026 14:22:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 08:37:20.816479
• Title: Quantifying the Stability of Multi-Step Reasoning via Error Amplification
• Title（参考訳）: 誤差増幅によるマルチステップ推論の安定性の定量化
• Abstract要約: 生成ステップ間で入力空間を通したヤコビアンのスペクトルノルムの積に縛られる推論誤差を示す。 我々は、線形関数や二次関数のような単純なタスクを予測するために訓練されたトランスフォーマーモデルにおいて、この測度を解析する。 本稿では,グラフアルゴリズムによる推論タスクと記号的状態追跡タスクに基づいて,言語モデルを微調整することで,提案アルゴリズムの検証を行う。
• 参考スコア（独自算出の注目度）: 18.89302257928477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the stability of multi-step reasoning processes, which have extensive applications in language models, including chain-of-thought and algorithmic reasoning. While longer sequences of reasoning can improve a model's generation capability at test time, the errors due to intermediate reasoning steps can accumulate in autoregressive generation, and thus grow substantially at the end. In this paper, we ask: What are the key factors determining the stability of multi-step reasoning? First, we show an inference error bound governed by the product of spectral norms of the Jacobians taken through the input space across generation steps. This product can be viewed as an error amplification factor, which could scale exponentially with the number of reasoning steps, serving as a quantitative measure of reasoning stability. Second, we analyze this measure in transformer models trained to predict simple tasks like linear and quadratic functions. We theoretically prove that the transformer model converges to a solution where the stability measure decays, thus yielding nearly zero inference loss over (arbitrarily) long steps. Finally, the stability analysis leads to several algorithmic implications for controlling the stability, through (i) chain-of-thought length compression that reduces the sensitivity of each step, and (ii) quantization-aware training that regularizes the input Jacobian norms. We validate the proposed algorithms by fine-tuning language models on graph-algorithmic reasoning tasks and symbolic state-tracking tasks. Across seven evaluations, our algorithms improve over baseline comparisons by 3.5% on average, and by 8.2% for longer-length inputs. Ablation analysis validates that the stability measure is drastically reduced by 3-8$\times$, confirming the regularization effect on the spectral norms of the (input space) Jacobians.
• Abstract（参考訳）: 本稿では,多段階推論プロセスの安定性について考察する。 推論の長いシーケンスは、テスト時にモデルの生成能力を改善することができるが、中間的推論ステップによるエラーは自己回帰生成に蓄積され、最終的には大幅に増大する。 本稿では,多段階推論の安定性を決定する重要な要因を問う。 まず、生成ステップ間で入力空間を通したヤコビアンのスペクトルノルムの積によって支配される推論誤差を示す。 この積は誤差増幅因子と見なすことができ、推理ステップの数とともに指数関数的にスケールし、推理安定性の定量的尺度として機能する。 第2に、線形関数や二次関数のような単純なタスクを予測するために訓練された変圧器モデルにおいて、この測度を解析する。 理論的には、変圧器モデルが安定度が減衰する解に収束し、(任意に)長いステップでほとんど推論損失を生じさせる。 最後に、安定性解析は安定性の制御にいくつかのアルゴリズム的意味をもたらす。 一 各ステップの感度を低下させる鎖長圧縮 (ii)入力ジャコビアンノルムを正則化する量子化対応トレーニング。 本稿では,グラフアルゴリズムによる推論タスクと記号的状態追跡タスクに基づいて,言語モデルを微調整することで,提案アルゴリズムの検証を行う。 7つの評価において,提案アルゴリズムはベースライン比較を平均3.5%,長文入力では8.2%改善した。 アブレーション解析により、安定度は3-8$\times$で劇的に減少し、(入力空間)ヤコビアンのスペクトルノルムに対する正則化効果が確かめられる。

関連論文リスト

• Iterating Consistency Models: Stability, Error Bounds and Noise Schedules [26.948978911276498]
  ステップを追加することで、スケジュールに非常に敏感な方法でサンプルの品質を改善したり、劣化させることができます。 我々は,多段階CMサンプリングをノイズ発生および近似分解演算子の構成として分析する。 我々は、与えられた訓練されたモデルに対して、一段階の精度と安定性の仮定を推定できる補完的な保証を確立する。
  論文  参考訳（メタデータ） (2026-10-02T15:00:49Z)
• Fine-grained Analysis of Stability and Generalization for Stochastic Bilevel Optimization [71.33048115652474]
  バイレベル最適化(SBO)は、最近多くの機械学習パラダイムに統合されている。 本稿では,二段階最適化手法の体系的解析について述べる。 結果は再読解を必要とせず、より汎用的な目的関数に適用できる。
  論文  参考訳（メタデータ） (2026-04-05T12:12:58Z)
• Thinking in Latents: Adaptive Anchor Refinement for Implicit Reasoning in LLMs [3.0215547730060206]
  AdaAnchorは、入力にアタッチされた潜在アンカーベクトルのセットを精算することにより、サイレント反復計算を行う潜在推論フレームワークである。 適応停止したAdaAnchorは、固定ステップの潜伏精錬で最大5%の精度向上を達成し、最大ステップの予算で平均潜伏精錬歩数を48〜60%削減する。
  論文  参考訳（メタデータ） (2026-03-16T10:06:05Z)
• The Price of Robustness: Stable Classifiers Need Overparameterization [17.335490896384265]
  クラス安定性で逆改善する有限関数クラスに対して有界な一般化を確立する。 我々は、ブベックとセルケの結果を拡張する分類の堅牢性の法則として導かれる。 実験は我々の理論を支持するが、伝統的なノルムに基づく測度はほとんど非形式的である。
  論文  参考訳（メタデータ） (2026-03-03T09:47:06Z)
• Dynamics Within Latent Chain-of-Thought: An Empirical Study of Causal Structure [58.89643769707751]
  表現空間における潜在連鎖を操作可能な因果過程として研究する。 遅延ステップの予算は、均質な余分な深さよりも、非局所的なルーティングを備えたステージ機能のように振る舞う。 これらの結果は、モード条件と安定性を意識した分析を、潜伏推論システムの解釈と改善のための信頼性の高いツールとして動機付けている。
  論文  参考訳（メタデータ） (2026-02-09T15:25:12Z)
• Analysis of Hessian Scaling for Local and Global Costs in Variational Quantum Algorithm [0.42970700836450487]
  変分量子アルゴリズムにおけるヘッセンのエントリーワイズ解の定量化を行う。 ショットノイズに対してヘッセン成分を解くのに必要なサンプルの複雑さを規定する2つの異なるスケーリング機構を示す。
  論文  参考訳（メタデータ） (2026-01-31T15:49:23Z)
• Dynamic Stability of LLM-Generated Code [6.120340803716395]
  コード生成のためのLLMの現在の評価は、関数的に正しい解がアルゴリズムの複雑さにおいて著しく異なるという事実を見落としている。 本稿では,生成コードの動的安定性を評価するためのフレームワークを提案する。 コード生成における安定性を意識した目標と、堅牢で現実的な評価のためのテストケースを備えた新しいベンチマークが求められた。
  論文  参考訳（メタデータ） (2025-11-07T09:58:06Z)
• Numerically Stable Sparse Gaussian Processes via Minimum Separation using Cover Trees [57.67528738886731]
  誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。 地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-14T15:20:17Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。