論文の概要: Dynamical phase selection controls compute scaling in looped transformers

• arxiv url: http://arxiv.org/abs/2608.26556v1
• Date: Thu, 27 Aug 2026 02:54:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.220637
• Title: Dynamical phase selection controls compute scaling in looped transformers
• Title（参考訳）: ループ変換器の動的位相選択制御
• Abstract要約: 同一のアーキテクチャと目的を持つネットワークは、同一の精度で訓練されるが、しかしながら、異なる動的位相を実現する。 相は、サドルノードフォールドやネイマーク・サッカー型の非定常運動への遷移を含む分岐機構によって区別される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A looped transformer performs inference by iterating a weight-tied map, making its computation a dynamical process whose cost is set by the resulting inference dynamics. Here we show that networks with identical architecture and objective, trained to identical accuracy, nevertheless realize distinct dynamical phases depending strongly on initialization, and that the bifurcation defining each phase determines how test-time compute scales. The phases are distinguished by their bifurcation mechanisms, including a saddle-node fold and a Neimark-Sacker-type transition to bounded nonstationary motion. In the fold phase, a one-dimensional normal-form reduction predicts both the relaxation-time and spectral-gap amplitudes from local derivatives of the trained map, yielding the parameter-free relation $τ(\varepsilon)[1-λ_{\max}(-\varepsilon)]\toπ$. Composed with a regular distribution of problem difficulty, the same critical slowing down produces the workload-level tail $P(τ>N)\sim N^{-2}$. In the Neimark--Sacker phase, the fold scaling law disappears rather than merely changing its prefactor. Thus, test-time compute is not determined by architecture alone. It is governed by the dynamical phase of the solution found by training.
• Abstract（参考訳）: ループ変換器は、重み付けマップを繰り返して推論を行い、その計算を、結果として生じる推論ダイナミクスによってコストが設定される動的プロセスとする。 ここでは、同一のアーキテクチャと目的を持つネットワークが同一の精度で訓練されているにもかかわらず、初期化に強く依存する異なる動的位相を実現し、各フェーズを定義する分岐がテスト時間計算のスケールの仕方を決定することを示す。 相は、サドルノードフォールドやネイマーク・サッカー型の非定常運動への遷移を含む分岐機構によって区別される。 折りたたみ位相において、1次元の正規形式還元は、訓練された写像の局所微分から緩和時間とスペクトルギャップ振幅の両方を予測し、パラメータフリーの関係を$τ(\varepsilon)[1-λ_{\max}(-\varepsilon)]\toπ$とする。 問題難解の正規分布で構成された同じ臨界減速は、ワークロードレベルのテールを$P(τ>N)\sim N^{-2}$に生成する。 ニーマルク・サッカー相では、折り畳みスケーリング法則は単にプレファクタを変更するのではなく消滅する。 したがって、テスト時間計算はアーキテクチャだけでは決定されない。 それは、トレーニングによって見つかる解の動的位相によって支配される。

関連論文リスト

• The Geometric Phase as a Diagnostic for Driven-Dissipative Oscillators [13.38226745175549]
  駆動散逸型量子発振器が位相をロックし、限界周期を変形し、散逸型位相遷移を行うことを示す。 この挙動は、同じ定常密度行列上で定義された無関係な量から読み出される。 1つの幾何学的な量がそれらを整理することを示す。
  論文  参考訳（メタデータ） (2026-08-26T12:52:36Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking [49.1352577985191]
  本稿では,2層ニューラルネットワークがモジュール追加タスクを解くために,機能をどのように学習するかを包括的に分析する。 我々の研究は、学習したモデルの完全な機械論的解釈と、その訓練力学の理論的説明を提供する。
  論文  参考訳（メタデータ） (2026-02-18T20:25:13Z)
• Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds [0.5729426778193398]
  幾何学的および統計的物理レンズを用いた深部変圧器言語モデルにおける多段階推論の出現について検討する。 我々は、フォワードパスを離散粗粒度写像として形式化し、安定な「概念盆地」の出現と、この再正規化のような力学の固定点を関連付ける。 結果として生じる低エントロピー状態は、スペクトルテール崩壊と、表現空間における過渡的で再利用可能なオブジェクトのような構造の形成によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-01-16T23:11:02Z)
• How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias [48.9399496805422]
  我々は「偶対」と「パリティチェック」と呼ばれる正規言語認識のカテゴリにおける2つの代表的タスクに焦点をあてる。 我々のゴールは、注意層と線形層からなる一層トランスフォーマーが、これらの課題をいかに解決するかを探求することである。
  論文  参考訳（メタデータ） (2025-05-02T00:07:35Z)
• Dynamical transitions from slow to fast relaxation in random open quantum systems [0.0]
  我々は、ハミルトン系とそのノイズとのカップリングが、入射が距離の力の法則として崩壊するランダム行列となるモデルについて検討する。 定常状態は常に機能しないが、アプローチされる速度は$alpha_H$と$alpha_L$によって3つのフェーズを示す。 摂動理論では、$(alpha_H, alpha_L)$平面の位相境界は弱く強い散逸に対して異なり、ノイズ強度の関数としての相転移が示唆される。
  論文  参考訳（メタデータ） (2022-11-23T20:56:46Z)
• Superdiffusion in random two dimensional system with time-reversal symmetry and long-range hopping [45.873301228345696]
  次元$d=2$とホッピング$V(r)proto r-2$の交叉系における局所化問題は、まだ解決されていない。 二次元異方性双極子-双極子相互作用によって決定されるホッピングには、弱い障害と強い障害の2つの区別可能な位相が存在することを示す。
  論文  参考訳（メタデータ） (2022-05-29T16:53:20Z)
• On optimization of coherent and incoherent controls for two-level quantum systems [77.34726150561087]
  本稿では、閉かつオープンな2レベル量子系の制御問題について考察する。 閉系の力学は、コヒーレント制御を持つシュリンガー方程式によって支配される。 開系の力学はゴリーニ=コサコフスキー=スダルシャン=リンドブラッドのマスター方程式によって支配される。
  論文  参考訳（メタデータ） (2022-05-05T09:08:03Z)
• Spectral Analysis of Product Formulas for Quantum Simulation [0.0]
  本研究では,大規模なシステムに対して,$epsilon$から$epsilon1/2$へのスケーリングにおいて,精度の高いエネルギー固有値を推定するために必要なトロッターステップサイズを改善することができることを示す。 結果は部分的にダイアバティックなプロセスに一般化され、このプロセスはスペクトルの残りの部分からギャップによって分離された狭いエネルギーバンドに留まる。
  論文  参考訳（メタデータ） (2021-02-25T03:17:25Z)
• Analytic Signal Phase in $N-D$ by Linear Symmetry Tensor--fingerprint modeling [69.35569554213679]
  解析信号位相とその勾配は2-D$以上の不連続性を持つことを示す。 この欠点は深刻なアーティファクトをもたらす可能性があるが、問題は1-D $シグナルには存在しない。 本稿では,複数のGaborフィルタに頼って線形シンメトリー位相を用いることを提案する。
  論文  参考訳（メタデータ） (2020-05-16T21:17:26Z)
• Discrete truncated Wigner approach to dynamical phase transitions in Ising models after a quantum quench [0.0]
  量子クエンチ後の横フィールドイジングモデルの定常状態における動的相転移について検討する。 我々は$alpha lesssim 0.5$の同じ指数を見つけ、この状態の動的遷移が非エルゴード平均場極限と同じ普遍性クラスに該当することを示唆する。
  論文  参考訳（メタデータ） (2020-04-21T08:20:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。