論文の概要: Emergence of Frontier Superposition: Möbius attractor and Cascade Supervision

• arxiv url: http://arxiv.org/abs/2605.18820v1
• Date: Tue, 12 May 2026 14:35:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 21:37:32.358876
• Title: Emergence of Frontier Superposition: Möbius attractor and Cascade Supervision
• Title（参考訳）: Frontier Superpositionの創始:Möbius attractorとCascade Supervision
• Abstract要約: 重ね合わせにより、トランスフォーマーは深く推論できる。 Zhu et al. (2025) はグラフ到達性のための1つの残留ストリームにおいて、等重量のブロードスファーストフロンティアを手作りした。 我々は、アーキテクチャおよび監督的な貢献を分離することによって、アーズ・レニイグラフ上の到達可能性と重ね合わせのギャップを埋める。
• 参考スコア（独自算出の注目度）: 7.066531752554283
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Superposition allows Transformers to reason in depth, carrying an entire reasoning frontier in parallel through a bounded-depth forward pass instead of unrolling serial chain-of-thought tokens. While Zhu et al. (2025) hand-crafted an equal-weight breadth-first frontier in a single residual stream for graph reachability, it remained open whether gradient descent could ever find this target amidst permutation-symmetric saddles. We close this gap on Reachability-by-Superposition over Erdős-Rényi graphs by isolating architectural and supervisional contributions. Architecturally, we identify a Möbius attractor: under $S_n$-symmetry in the tree regime, layerwise dynamics reduce to a 1D Möbius map whose zero set is a codimension-one manifold of global optima containing the equal-weight superposition state. On the supervision side, we identify Cascade Supervision: a loss class whose backward pass simultaneously delivers (A) selectivity bootstrap, (B) gradient persistence across depth, and (C) per-step discrimination (e.g., \mathcal{L}_{sup} and \mathcal{L}_{node}). End-to-end supervision fails condition (B) and is provably insufficient: internal gradients at layer c decay as (np)^{-(D-c-2)/2} in the graph fan-out and stall before the manifold is reached. Our thesis: Möbius attractor + Cascade Supervision = emergence of superposition reasoning. The parameter-free decay law predicts a final-step cosine of 0.35 vs. 0.71 (end-to-end vs. cascade) at depth D=3; experiments confirm 0.37 vs. 0.69, matching within 0.02 at every step.
• Abstract（参考訳）: 重ね合わせによりトランスフォーマーは、直列チェーン・オブ・シークレットトークンをアンロールする代わりに、境界の深さのフォワードパスを通して、すべての推論フロンティアを平行に運ぶことができる。 Zhu et al (2025) はグラフ到達性のための1つの残差ストリームにおいて、等重量のブロードスファーストフロンティアを手作りしたが、置換対称サドルの中で勾配勾配降下がこのターゲットを発見できるかどうかはまだ明らかではなかった。 我々は、建築的および監督的な貢献を孤立させることにより、エルデシュ=レーニグラフ上の到達可能性と重ね合わせのギャップを埋める。 アーキテクチャ上、我々はメビウスの誘引子を同定する:木構造において$S_n$-対称性の下で、階層的力学はゼロ集合が等重重ね合わせ状態を含む大域的オプティマの余次元1多様体である1次元メビウス写像に還元される。 監督側では、後方通過が(A)選択ブートストラップ、(B)奥行きの勾配持続性、(C)ステップごとの識別(例えば、 \mathcal{L}_{sup} と \mathcal{L}_{node})を同時に提供する損失クラスであるカスケード・スーパービジョンを識別する。 グラフファンアウトにおいて (np)^{-(D-c-2)/2} として(np)^{-(D-c-2)/2 {\displaystyle (np)^{-(D-c-2)/2} が崩壊し、多様体が到達する前に停止する。 私たちの論文は、Möbius attractor + Cascade Supervision = emerged of superposition reasoningである。 パラメータフリー崩壊法則は、深さD=3で0.35対0.71(エンド・ツー・エンド対カスケード)の最終段階のコサインを予測する。

関連論文リスト

• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• Restricted Eigenvalues Beyond Gaussian Width: Threshold Occupancy under Heavy Tails [47.36630149538994]
  等方的準ガウス測度の場合、ベンチマークサンプルサイズは1+w(A)2$であり、$w(A)$は正規化降下円錐のガウス幅である。 ここで定式化された一般的な問題に対して、明示的で体系的な否定的な答えを与える:提案された法則は、その全次元自由で任意の集合形式で失敗する。 等方性の下では、アフィン次元倍の2乗半径で支配される分布のないフォールバックがこの族に鋭い。
  論文  参考訳（メタデータ） (2026-09-03T08:05:05Z)
• A phase transition in the exactness of the NPA hierarchy at the critical doubly-tilted CHSH functional [0.0]
  B_=langle A_0rangle+l B_0rangle+mathrmCHSH$。 すべての$,ge 1$とすべてのレベルで、階層は、アフィンのアイデンティティを実現する3つの明確な有理証明を通して、正確である。 サブクリティカル側では、正確な算術の最初の4つのレベルを認証する。
  論文  参考訳（メタデータ） (2026-07-15T12:34:25Z)
• Complex spacing ratio statistics in the partially open asymmetric quantum baker map [36.94429692322632]
  部分射影開口を持つ非対称量子ベーカーマップの複素固有値統計について検討する。 単位円近傍の固有値クラスターとz$の位相分布がピークとなる準1次元スペクトル状態からの滑らかな交叉を見出した。 オープンチャネルの数$M$と反射率$$は、このクロスオーバーを変調し、$$は、固定開口サイズでも追加の連続制御を提供する。
  論文  参考訳（メタデータ） (2026-07-08T19:24:35Z)
• Optimization Geometrodynamics: Variational Reduction and Interaction Curvature [0.0]
  我々は、この隠れ行列式プッシュフォワードの変分理論として、測地力学を発展させる。 アフィン事前還元の場合、誘導的相互作用曲率(英語版)は負半有限作用素 $-G*H-1G$ である。 閉全測地線ファイバーを持つ大域的解析バンドルと、特異な解析的近接制御器部とを証明した。
  論文  参考訳（メタデータ） (2026-07-07T18:42:00Z)
• IG-Lens: Exact Additive Probability Attribution Across Transformer Layers via Telescoping Integrated Gradients [4.619541348328937]
  私たちはデコーダのみのトランスフォーマーについて単純な質問をする:どちらの2つの層が実際に生成された予測トークンの確率なのか? 既存のレイヤ単位の読み出しツールは、ほとんど答えない。 IG-Lensは,ベースラインから最終層への隠れ状態を通る単一の経路に沿って,統合勾配のテレスコープアプリケーションである。
  論文  参考訳（メタデータ） (2026-06-29T01:41:42Z)
• Towards Scalable Persistence-Based Topological Optimization [44.16669776030478]
  永続性に基づく位相最適化は、点クラウド $X の部分集合 mathbbRd$ を $L(X) = ell(mathrmDgm(X))$ という形の目的を最小化することによって変形する。 実際、最適化は2つの結合した問題によって制限される: 永続ホモロジーは典型的にはサブサンプル上で計算され、結果として生じる位相勾配は非常にスパースであり、非ゼロ更新を受けるアンカーポイントはわずかである。
  論文  参考訳（メタデータ） (2026-05-09T15:47:20Z)
• Self-Normalized Martingales and Uniform Regret Bounds for Linear Regression [65.82017723631897]
  自己正規化マルティンガレのスケール不変上界が可能であることを示す。 通常の正規化ペナルティを含まない自己正規化濃度不等式を導出する。
  論文  参考訳（メタデータ） (2026-05-02T22:39:00Z)
• Conservation Law Breaking at the Edge of Stability: A Spectral Theory of Non-Convex Neural Network Optimization [0.0]
  非次元ネットワーク最適化において、勾配勾配勾配が確実に良い解となることを示す。 幅依存性の動的遷移によって分離された2つの規則を同定する。 全ての予測は23の実験で検証される。
  論文  参考訳（メタデータ） (2026-04-08T10:41:24Z)
• Mesoscopic Fluctuations and Multifractality at and across Measurement-Induced Phase Transition [46.176861415532095]
  二次元自由フェルミオンモデルにおける量子軌道のアンサンブルに関する統計的揺らぎについて検討する。 この結果はアンダーソンの局所化に顕著な類似性を示し、G_AB$は2末端の導電率に対応する。 監視システムのメソスコピック理論の基礎を築き,様々な拡張への道を開いた。
  論文  参考訳（メタデータ） (2025-07-15T13:44:14Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• Global $\mathcal{L}^2$ minimization at uniform exponential rate via geometrically adapted gradient descent in Deep Learning [1.4050802766699084]
  本稿では,ディープラーニング(DL)ネットワークにおける教師あり学習のシナリオについて考察する。 DLネットワークの出力層におけるユークリッド計量に対する勾配流を選択する。
  論文  参考訳（メタデータ） (2023-11-27T02:12:02Z)
• Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
  機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く 本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T16:24:47Z)
• Boundary deconfined quantum criticality at transitions between symmetry-protected topological chains [0.0]
  この研究は、非自明な位相位相の間の臨界性のリッチな未探索物理学を強調している。 これは、ギャップのない位相位相の急成長する分野に関する洞察を与える。
  論文  参考訳（メタデータ） (2022-08-25T17:59:26Z)
• High-dimensional limit theorems for SGD: Effective dynamics and critical scaling [6.950316788263433]
  我々は、勾配降下(SGD)の要約統計の軌跡に対する極限定理を証明する。 下記の有効弾道力学が人口減少の勾配流と一致するステップサイズにおける重要なスケーリング体制を示す。 この実効力学の固定点について、対応する拡散極限は極めて複雑であり、さらに退化することもある。
  論文  参考訳（メタデータ） (2022-06-08T17:42:18Z)
• Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
  勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
  論文  参考訳（メタデータ） (2020-10-01T16:48:33Z)
• On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems [75.58134963501094]
  本稿では,勾配降下(SGD)の軌跡を解析する。 我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
  論文  参考訳（メタデータ） (2020-06-19T14:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。