論文の概要: Emergence of Frontier Superposition: Möbius attractor and Cascade Supervision

• arxiv url: http://arxiv.org/abs/2605.18820v1
• Date: Tue, 12 May 2026 14:35:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 21:37:32.358876
• Title: Emergence of Frontier Superposition: Möbius attractor and Cascade Supervision
• Title（参考訳）: Frontier Superpositionの創始:Möbius attractorとCascade Supervision
• Authors: Hongyu Gu, Jingwen Fu,
• Abstract要約: 重ね合わせにより、トランスフォーマーは深く推論できる。 Zhu et al. (2025) はグラフ到達性のための1つの残留ストリームにおいて、等重量のブロードスファーストフロンティアを手作りした。 我々は、アーキテクチャおよび監督的な貢献を分離することによって、アーズ・レニイグラフ上の到達可能性と重ね合わせのギャップを埋める。
• 参考スコア（独自算出の注目度）: 7.066531752554283
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Superposition allows Transformers to reason in depth, carrying an entire reasoning frontier in parallel through a bounded-depth forward pass instead of unrolling serial chain-of-thought tokens. While Zhu et al. (2025) hand-crafted an equal-weight breadth-first frontier in a single residual stream for graph reachability, it remained open whether gradient descent could ever find this target amidst permutation-symmetric saddles. We close this gap on Reachability-by-Superposition over Erdős-Rényi graphs by isolating architectural and supervisional contributions. Architecturally, we identify a Möbius attractor: under $S_n$-symmetry in the tree regime, layerwise dynamics reduce to a 1D Möbius map whose zero set is a codimension-one manifold of global optima containing the equal-weight superposition state. On the supervision side, we identify Cascade Supervision: a loss class whose backward pass simultaneously delivers (A) selectivity bootstrap, (B) gradient persistence across depth, and (C) per-step discrimination (e.g., \mathcal{L}_{sup} and \mathcal{L}_{node}). End-to-end supervision fails condition (B) and is provably insufficient: internal gradients at layer c decay as (np)^{-(D-c-2)/2} in the graph fan-out and stall before the manifold is reached. Our thesis: Möbius attractor + Cascade Supervision = emergence of superposition reasoning. The parameter-free decay law predicts a final-step cosine of 0.35 vs. 0.71 (end-to-end vs. cascade) at depth D=3; experiments confirm 0.37 vs. 0.69, matching within 0.02 at every step.
• Abstract（参考訳）: 重ね合わせによりトランスフォーマーは、直列チェーン・オブ・シークレットトークンをアンロールする代わりに、境界の深さのフォワードパスを通して、すべての推論フロンティアを平行に運ぶことができる。 Zhu et al (2025) はグラフ到達性のための1つの残差ストリームにおいて、等重量のブロードスファーストフロンティアを手作りしたが、置換対称サドルの中で勾配勾配降下がこのターゲットを発見できるかどうかはまだ明らかではなかった。 我々は、建築的および監督的な貢献を孤立させることにより、エルデシュ=レーニグラフ上の到達可能性と重ね合わせのギャップを埋める。 アーキテクチャ上、我々はメビウスの誘引子を同定する:木構造において$S_n$-対称性の下で、階層的力学はゼロ集合が等重重ね合わせ状態を含む大域的オプティマの余次元1多様体である1次元メビウス写像に還元される。 監督側では、後方通過が(A)選択ブートストラップ、(B)奥行きの勾配持続性、(C)ステップごとの識別(例えば、 \mathcal{L}_{sup} と \mathcal{L}_{node})を同時に提供する損失クラスであるカスケード・スーパービジョンを識別する。 グラフファンアウトにおいて (np)^{-(D-c-2)/2} として(np)^{-(D-c-2)/2 {\displaystyle (np)^{-(D-c-2)/2} が崩壊し、多様体が到達する前に停止する。 私たちの論文は、Möbius attractor + Cascade Supervision = emerged of superposition reasoningである。 パラメータフリー崩壊法則は、深さD=3で0.35対0.71(エンド・ツー・エンド対カスケード)の最終段階のコサインを予測する。

関連論文リスト

• Self-Normalized Martingales and Uniform Regret Bounds for Linear Regression [65.82017723631897]
  自己正規化マルティンガレのスケール不変上界が可能であることを示す。 通常の正規化ペナルティを含まない自己正規化濃度不等式を導出する。
  論文  参考訳（メタデータ） (2026-05-02T22:39:00Z)
• Conservation Law Breaking at the Edge of Stability: A Spectral Theory of Non-Convex Neural Network Optimization [0.0]
  非次元ネットワーク最適化において、勾配勾配勾配が確実に良い解となることを示す。 幅依存性の動的遷移によって分離された2つの規則を同定する。 全ての予測は23の実験で検証される。
  論文  参考訳（メタデータ） (2026-04-08T10:41:24Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• Global $\mathcal{L}^2$ minimization at uniform exponential rate via geometrically adapted gradient descent in Deep Learning [1.4050802766699084]
  本稿では,ディープラーニング(DL)ネットワークにおける教師あり学習のシナリオについて考察する。 DLネットワークの出力層におけるユークリッド計量に対する勾配流を選択する。
  論文  参考訳（メタデータ） (2023-11-27T02:12:02Z)
• Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
  機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く 本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T16:24:47Z)
• Boundary deconfined quantum criticality at transitions between symmetry-protected topological chains [0.0]
  この研究は、非自明な位相位相の間の臨界性のリッチな未探索物理学を強調している。 これは、ギャップのない位相位相の急成長する分野に関する洞察を与える。
  論文  参考訳（メタデータ） (2022-08-25T17:59:26Z)
• High-dimensional limit theorems for SGD: Effective dynamics and critical scaling [6.950316788263433]
  我々は、勾配降下(SGD)の要約統計の軌跡に対する極限定理を証明する。 下記の有効弾道力学が人口減少の勾配流と一致するステップサイズにおける重要なスケーリング体制を示す。 この実効力学の固定点について、対応する拡散極限は極めて複雑であり、さらに退化することもある。
  論文  参考訳（メタデータ） (2022-06-08T17:42:18Z)
• Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
  勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
  論文  参考訳（メタデータ） (2020-10-01T16:48:33Z)
• On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems [75.58134963501094]
  本稿では,勾配降下(SGD)の軌跡を解析する。 我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
  論文  参考訳（メタデータ） (2020-06-19T14:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。