論文の概要: Right Direction, Wrong Step: Geometric Analysis of Finite-Step Failure in Looped Transformers

• arxiv url: http://arxiv.org/abs/2609.16665v1
• Date: Tue, 15 Sep 2026 05:42:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.357022
• Title: Right Direction, Wrong Step: Geometric Analysis of Finite-Step Failure in Looped Transformers
• Title（参考訳）: 右方向, 誤りステップ:ループ変圧器の有限ステップ故障の幾何学的解析
• Abstract要約: Looped Transformerは、反復的な遅延推論のために共有レイヤを再利用することで、テスト時間のスケーリングにパラメータ効率のよいルートを提供する。 追加のイテレーションは、参照応答のサポートを減らし、更新の方向が局所的に非ヘルペスであるか、その完全な変位が過度に動きすぎるかがはっきりしないままにすることができる。 我々は、モデル自身の更新方向に沿って、このサポートを測定する参照ユーティリティを分析して、この区別について検討する。
• 参考スコア（独自算出の注目度）: 40.43356191604634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped Transformers offer a parameter-efficient route to test-time scaling by reusing shared layers for iterative latent reasoning. However, additional iterations can reduce support for a reference answer, leaving unclear whether an update's direction is locally unhelpful or its full displacement moves too far. We study this distinction by analysing reference utility, which measures this support, along the model's own update direction, varying the fraction of the proposed displacement supplied to the readout. This reveals finite-step failures in which a locally improving direction produces a harmful full update. A pathwise curvature decomposition characterises how initial progress is lost, while a local quadratic model predicts full-step gains and useful step scales. Bounds based on accumulated curvature variation characterise the approximation error of these predictions. Experiments across two model families reveal this separation on mathematical and commonsense tasks. A fixed quarter step produces positive gains in reference utility for 72.2--83.2% of selected failures across four settings. These findings identify a mismatch between update direction and step scale as a mechanism of lost progress, explaining how some harmful updates retain useful computation.
• Abstract（参考訳）: Looped Transformerは、反復的な遅延推論のために共有レイヤを再利用することで、テスト時間のスケーリングにパラメータ効率のよいルートを提供する。 しかし、追加のイテレーションは参照応答のサポートを減らし、更新の方向が局所的に不完全なのか、その完全な変位があまりにも遠くに移動するのかがはっきりしないままである。 本研究は, 参照ユーティリティをモデル自身の更新方向に沿って測定し, 読み出しに供給される変位の分数を変化させることにより, この特徴を解明するものである。 これにより、局所的な改善方向が有害なフルアップデートをもたらす有限ステップの障害が明らかになる。 経路方向の曲率分解は初期進行の損失を特徴づける一方、局所的な二次モデルはフルステップのゲインと有用なステップスケールを予測する。 累積曲率変動に基づく境界は、これらの予測の近似誤差を特徴づける。 2つのモデルファミリーにわたる実験は、数学的および常識的なタスクにおけるこの分離を明らかにしている。 固定クォーターステップは、4つの設定で選択された障害の72.2--83.2%の参照ユーティリティで正のゲインを生成する。 これらの結果から,更新方向とステップスケールのミスマッチが進行を損なうメカニズムとして認識され,有害な更新が有用な計算をいかに維持するかが説明された。

関連論文リスト

• Accelerating Diffusion Transformers with Gaussian Process Rectified Feature Cache [17.39547918764814]
  拡散変換器は、生成AIにおいて支配的なパラダイムとなっているが、その高い計算コストはリアルタイム応用を妨げる。 予測に基づく特徴キャッシングは拡散変圧器の高速化に広く用いられているが、ステップ数が増えるにつれて、その予測と参照完全軌道の偏差は徐々に増大する。 直感的なアイデアは、オンライン回帰モデルを使ってこの偏差を動的に補正することだが、加速プロセス中にラベルデータが利用できないという問題に直面している。 本稿では,キャッシュ手法と参照フルコンプットトラジェクトリによる全計算ステップの特徴間の残差が局所的に現れるという統計的観察を提案する。
  論文  参考訳（メタデータ） (2026-09-05T08:54:54Z)
• Geometric and Behavioral Stratification in Transformer Residual Streams [0.0]
  訓練されたトランスモデルは特権ベースを発達させ、残りの残流と統計が異なる座標軸を発達させる。 モデルが現在予測しているトークンの予測方向,非埋め込み方向について検討し,コンテンツ定義の特権アンカーとして機能することを確認した。
  論文  参考訳（メタデータ） (2026-08-12T17:42:20Z)
• When Do Surrogate Updates Improve Decisions? A Local Theory of Trajectory-Wise Transfer [0.0]
  トラジェクトリトレーニングの一段階が、人口のサロゲート損失と意思決定リスクの両方を減らし、移行が繰り返し更新に沿ってどのように蓄積されるのかを問う。 制御されたグリッドワールドとLLMポストトレーニング実験は、我々の予測と一致した結果をもたらす。
  論文  参考訳（メタデータ） (2026-08-02T10:12:42Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• Controlling Transient Amplification Improves Long-horizon Rollouts [33.85418321772749]
  ロールアウト軌道周りの過渡摂動をロールアウト誤差を駆動するメカニズムとして同定する。 可換正則化: 個々のヤコビアンの正規性欠陥を低減するために設計された2つの罰則の組み合わせを提案する。 本手法は,新しいデータを用いることなく,ERA5のFourNet気候予測を改善した。
  論文  参考訳（メタデータ） (2026-05-09T10:10:30Z)
• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• Laplacian Autoencoders for Learning Stochastic Representations [0.6999740786886537]
  本稿では,非教師付き表現学習のためのベイズオートエンコーダを提案する。 我々のラプラシアオートエンコーダは、潜在空間と出力空間の両方において、よく校正された不確かさを推定する。
  論文  参考訳（メタデータ） (2022-06-30T07:23:16Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Explore Aggressively, Update Conservatively: Stochastic Extragradient Methods with Variable Stepsize Scaling [34.35013145885164]
  機械学習における大規模サドルポイント問題の解法としては、段階的な手法が必須となっている。 本稿では, 単純な双線形モデルであっても, 勾配によるバニラの過度な走行は収束を阻害する可能性があることを示す。 この修正により勾配にも収束でき、誤差境界条件下での鋭い収束率を導出できることを示す。
  論文  参考訳（メタデータ） (2020-03-23T10:24:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。