論文の概要: Why Geometric Continuity Emerges in Deep Neural Networks: Residual Connections and Rotational Symmetry Breaking

• arxiv url: http://arxiv.org/abs/2605.04971v1
• Date: Wed, 06 May 2026 14:27:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.875412
• Title: Why Geometric Continuity Emerges in Deep Neural Networks: Residual Connections and Rotational Symmetry Breaking
• Title（参考訳）: 深部ニューラルネットワークにおける幾何学的連続性が出現する理由:残差接続と回転対称性の破れ
• Abstract要約: 深層ネットワークの重み行列は幾何学的連続性を示す。 この性質は広く観察されているが、その起源は定かではない。 残差接続は層間コヒーレンスを生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weight matrices in deep networks exhibit geometric continuity -- principal singular vectors of adjacent layers point in similar directions. While this property has been widely observed, its origin remains unexplained. Through experiments on toy MLPs and small transformers, we identify two mechanisms: residual connections create cross-layer gradient coherence that aligns weight updates across layers, and symmetry-breaking nonlinearities constrain all layers to a shared coordinate frame, preventing the rotation drift that would otherwise destabilize weight structure. Crucially, a nonlinear but rotation-preserving activation fails to retain continuity, isolating symmetry breaking -- not nonlinearity itself -- as the active ingredient. Activation and normalization play distinct roles: activation concentrates continuity in the leading singular direction, while normalization distributes it across multiple directions. In transformers, continuity is projection-specific: Q, K, Gate, and Up (which read from the residual stream) develop input-space ($\mathbf{v}_1$) continuity; O and Down (which write to it) develop output-space ($\mathbf{u}_1$) continuity; V alone, lacking an adjacent nonlinearity, develops only low continuity.
• Abstract（参考訳）: ディープネットワークのウェイト行列は幾何学的連続性を示し、隣り合う層の主特異ベクトルも同様の方向に向けられる。 この性質は広く観測されているが、その起源は明らかになっていない。 おもちゃのMLPと小型変圧器の実験により、残差接続は層間の重み更新を整列する層間勾配コヒーレンスを発生させ、対称性を破る非線形性はすべての層を共有座標フレームに拘束し、それ以外は重み構造を不安定にする回転ドリフトを防止する。 重要なことは、非線形であるが回転保存活性化は連続性を維持するのに失敗し、非線型性そのものではなく対称性の破れを有効成分として分離する。 活性化と正規化は異なる役割を担い、活性化は先頭特異方向の連続性に集中し、正規化は複数の方向に分散する。 変換器では、連続性は射影特異である: Q, K, Gate, Up (残ストリームから読み取る) は入力空間 ("\mathbf{v}_1$") の連続性、O と Down (それに書き込む) は出力空間 ("\mathbf{u}_1$") の連続性、V は隣接する非線形性に欠けるが、唯一の低連続性である。

関連論文リスト

• Biorthogonal Time-Dependent Variational Principle for Non-Hermitian Systems [0.0]
  我々は,非エルミート量子多体系の実時間ダイナミクスのための生物直交時間依存変分原理を開発した。 行列自由スケールのテイラー作用は、密度行列を組み立てたり、クリロフ基底を保存したりすることなく、結果として生じる非正規局所生成物を伝播させる。
  論文  参考訳（メタデータ） (2026-09-14T06:24:19Z)
• Exact-Form Regret for Gradient Descent, Mirror Descent and Follow-the-Regularized-Leader [46.31158375592562]
  最近の研究は、一階法がよりリッチな行動依存偏差を制御することを示している。 オンライン勾配降下,ミラー降下,フォロー・ザ・レギュラー化リーダ(FTRL)の達成に関する偏差の幾何学的特徴を求める。
  論文  参考訳（メタデータ） (2026-09-08T21:32:02Z)
• A Commutator Framework for Selective Spectral Alignment in Deep Neural Networks [0.0]
  学習した特徴量がどのように組織化され、輸送され、選択的に深層ニューラルネットワークに整列されるかを記述する、有限幅の幾何学的枠組みを開発する。 重み付き共分散、ゲート、後方感度の不適合性は、通勤者の3つのファミリーによって定量化される。 我々は、スペクトルギャップ、プロジェクター進化、安定化推定を確立し、明示的な幾何学的誤差境界あるいは本質的な減衰仮定の下で崩壊する条件付きリアプノフの原理を定式化する。
  論文  参考訳（メタデータ） (2026-08-24T07:42:16Z)
• Nonlocality-induced critical-length hierarchy from non-Hermitian competition [48.9823527611878]
  2つの連結鎖からなる短距離系において、競合は臨界長法則$N_csimln D$に導かれる。 ここでは、長距離ホッピングがこの臨界挙動を根本的に再編成し、異なるスケーリング法則の階層を生成することを示す。 この結果は,プログラム可能なトポ誘電回路,フォトニック格子,デジタル量子シミュレータでテスト可能なプラットフォーム非依存のフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-08-03T18:00:18Z)
• From Self-Attention to Connection Laplacian: A Unified Operator View of Transformers [53.505136935517925]
  自己注意は現代のシーケンスモデルにおいてユビキタスプリミティブであるが、作用素レベルの幾何学は部分的には理解されていない。 単頭注意 (SHA) は, 常に搬送される接続伝播ステップであることを示す。 トレーニングされたトランスフォーマー(124Mから8B)と構造(エンコーダ/デコーダ)は、我々の理論と整合した幾何学的構造を示す。
  論文  参考訳（メタデータ） (2026-07-12T09:44:54Z)
• Tracking Through Decoupling Singularities: A Singularity-Robust Homotopy-Continuation Extension of Feedback Linearization [0.0]
  本稿では,正方形非線形制御アフィン系のための軌道追従制御器を開発する。 この方法は、トラッキングをリアルタイムの弧長ホモトピー継続として再キャストする。 結果の流れは、特異集合から離れたフィードバック線形化に一致する。
  論文  参考訳（メタデータ） (2026-07-11T18:41:04Z)
• Flag Varieties: A Geometric Framework for Deep Network Alignment [1.4273866043218153]
  アライメント、ディープ・ネットワークにおける隣接する重み行列の傾向は、互換性のある部分空間配向、勾配流の地下化、ニューラル・コラプス、アーキテクチャ間の表現類似性を発達させる。 我々はアライメント幾何がフラッグ多様体によって与えられる正準閉多安定層を持つことを証明した。 本稿では,1次原理からのニューラル崩壊におけるレベル2/3階層を,ポストホック解析ではなく,幾何学的に説明する。
  論文  参考訳（メタデータ） (2026-05-11T01:46:17Z)
• A Theory of Saddle Escape in Deep Nonlinear Networks [0.0]
  層重行列のフロベニウスノルムの不均衡について、スムーズな活性化と微分可能な損失を保った正確な恒等式を導出する。 置換対称部分多様体では、恒等式は近似バランス則と結合し、スカラーODEへの全行列フローを減少させる。 我々の理論と数値シミュレーションの間にはよく一致している。
  論文  参考訳（メタデータ） (2026-05-02T06:55:15Z)
• Random Dot Product Graphs as Dynamical Systems: Limitations and Opportunities [0.0]
  ランダムドット製品グラフ内の時間ネットワークの進化を規定する微分方程式について検討する。 遅延位置における回転あいまいさからのゲージ自由度、確率行列の多様体構造からの実現可能性制約、スペクトル埋め込みによる軌道回復アーティファクトの3つの基本的な障害を同定する。 対称力学はスキュー対称ゲージ汚染を吸収できないので、力学構造は障害物を解消できる。
  論文  参考訳（メタデータ） (2026-03-05T21:56:07Z)
• The Inductive Bias of Convolutional Neural Networks: Locality and Weight Sharing Reshape Implicit Regularization [57.37943479039033]
  本研究では,勾配降下における安定性現象によって引き起こされる暗黙の正則化に,アーキテクチャ的帰納バイアスがどう影響するかを考察する。 局所性と重量共有が根本的に変化していることが示されています。
  論文  参考訳（メタデータ） (2026-03-05T04:50:51Z)
• Riemannian Flow Matching for Disentangled Graph Domain Adaptation [51.98961391065951]
  グラフドメイン適応(GDA)は典型的には、ユークリッド空間におけるグラフ埋め込みの整列に逆学習を使用する。 DisRFMは、埋め込みとフローベースのトランスポートを統一する幾何学的なGDAフレームワークである。
  論文  参考訳（メタデータ） (2026-01-31T11:05:35Z)
• Geometric and Dynamic Scaling in Deep Transformers [13.697614668609205]
  我々は、ディープトランスフォーマーの崩壊は基本的に幾何学的な問題であると主張する。 2つの原則によりこれらの障害に対処する統一的な幾何学的枠組みを提案する。 超深層ネットワークにおけるランク崩壊を回避するためには, 動的消去を許容しながら幾何的妥当性を強制することが重要であると予測した。
  論文  参考訳（メタデータ） (2026-01-03T00:41:46Z)
• Deep Delta Learning [91.75868893250662]
  本稿では,標準残差接続を一般化した新しいアーキテクチャであるDeep Delta Learning(DDL)を紹介する。 我々はこの演算子のスペクトル解析を行い、ゲート$(mathbfX)$がアイデンティティマッピング、投影、幾何反射のダイナミックな相互作用を可能にすることを示した。 この統合により、ネットワークは階層的な遷移作用素のスペクトルを明示的に制御することができ、複雑な非単調力学のモデリングを可能にする。
  論文  参考訳（メタデータ） (2026-01-01T18:11:38Z)
• Nonlinear magnetization dynamics as a route to nonreciprocal phases, spin superfluidity, and analogue gravity [0.0]
  我々は、ギルバート減衰に対するdcドライブのバランスが、時空変換対称性を自発的に破るキラルスピン超流体極限サイクルを安定化させることを示した。 逆キラリティの長波長マグノンは非対称な分散を取得し、スピン超重力ダイオードを実現するために方向選択的に伝播する。
  論文  参考訳（メタデータ） (2025-10-24T18:42:23Z)
• Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
  リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。 線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。 数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
  論文  参考訳（メタデータ） (2025-04-16T10:39:43Z)
• Orthogonal Matrix Retrieval with Spatial Consensus for 3D Unknown-View Tomography [58.60249163402822]
  未知視トモグラフィ(UVT)は、未知のランダムな向きで2次元投影から3次元密度マップを再構成する。 提案したOMRはより堅牢で、従来の最先端のOMRアプローチよりも大幅に性能が向上している。
  論文  参考訳（メタデータ） (2022-07-06T21:40:59Z)
• From deep to Shallow: Equivalent Forms of Deep Networks in Reproducing Kernel Krein Space and Indefinite Support Vector Machines [63.011641517977644]
  ディープネットワークを等価な(不確定な)カーネルマシンに変換します。 次に、この変換がキャパシティ制御および一様収束に与える影響について検討する。 最後に、平坦表現の空間性について解析し、平坦な重みが(効果的に) 0p1 で正規化された Lp-"ノルム" であることが示される。
  論文  参考訳（メタデータ） (2020-07-15T03:21:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。