論文の概要: The Symmetries of Three-Layer ReLU Networks
- arxiv url: http://arxiv.org/abs/2605.18319v1
- Date: Mon, 18 May 2026 12:38:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:49.607797
- Title: The Symmetries of Three-Layer ReLU Networks
- Title（参考訳）: 3層ReLUネットワークの対称性
- Authors: Johanna Marie Gegenfurtner, Moritz Grillo, Guido Montúfar,
- Abstract要約: 深部ReLUネットワークにおけるパラメータ対称性を解析するためのフレームワークを開発する。
これらの対称性のいくつかは勾配流に沿って局所的な保存法則を導出するが、それ以外は導出しない。
- 参考スコア（独自算出の注目度）: 13.013978887362674
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop a framework for analyzing parameter symmetries in deep ReLU networks and obtain a complete characterization of the generic parameter fibers for three-layer bottleneck architectures. Our approach provides explicit semi-algebraic descriptions of these fibers and yields a polynomial time algorithm for deciding functional equivalence of two parameters. The symmetries include discrete and continuous transformations arising from layer composition, and depend on whether deeper layers hide or preserve geometric structure from preceding layers. Finally, we show that some of these symmetries induce local conservation laws along gradient flow, while others do not.
- Abstract（参考訳）: 深部ReLUネットワークにおけるパラメータ対称性を解析するためのフレームワークを開発し、3層ボトルネックアーキテクチャのためのジェネリックパラメータファイバーの完全な特性を得る。
提案手法は, これらの繊維の半代数的記述を明示的に提供し, 2つのパラメータの関数同値性を決定する多項式時間アルゴリズムを導出する。
対称性は、層組成から生じる離散的かつ連続的な変換を含み、より深い層が前の層から幾何学的構造を隠蔽するか保存するかに依存する。
最後に、これらの対称性のいくつかは勾配流に沿って局所的な保存則を誘導するが、他の対称性は誘導しないことを示す。
関連論文リスト
- A Complete Symmetry Classification of Shallow ReLU Networks [0.0]
我々は,同じ機能を実現するニューラルアーキテクチャにおいて,異なるパラメータの研究を行う。
本稿では,ReLUアクティベーションの非微分性を利用して,浅い場合の対称性の完全な分類を行う。
論文 参考訳（メタデータ） (2026-04-15T16:18:44Z) - Intrinsic Task Symmetry Drives Generalization in Algorithmic Tasks [4.075225553131796]
グラッキングの基礎となる3段階の動的トレーニングを一貫した3段階に分類する。
我々は、対称性獲得フェーズ中に一般化が現れることを示す。
一般化の開始を予想する対称性に基づく診断を導入し,それを加速するための戦略を提案する。
論文 参考訳（メタデータ） (2026-03-02T15:19:24Z) - Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。
以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。
我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。
この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
論文 参考訳（メタデータ） (2025-06-28T01:46:36Z) - Symmetry in Neural Network Parameter Spaces [36.618818500498676]
冗長性のかなりの部分はパラメータ空間の対称性によって説明される。
これらの対称性は損失ランドスケープと制約学習のダイナミクスを形成し、最適化、一般化、モデルの複雑さを理解するための新しいレンズを提供する。
既存の文献を要約し、対称性と学習理論の関連を明らかにするとともに、この新興分野におけるギャップと機会を特定する。
論文 参考訳（メタデータ） (2025-06-16T00:59:12Z) - Geometric Meta-Learning via Coupled Ricci Flow: Unifying Knowledge Representation and Quantum Entanglement [7.410691988131121]
本稿では,3つの基礎的革新を通じて,幾何学的フローと深層学習を統合した統一的な枠組みを確立する。
まず,パラメータ空間の幾何を動的に適用し,景観トポロジーを損なう熱力学的に結合したリッチフローを提案する。
第2に、曲率の爆発解析により、明示的な位相遷移閾値と臨界学習率を導出する。
第3に、ニューラルネットワークと共形場理論のAdS/CFT型ホログラフィック双対性(Theoremrefthm:ads)を確立する。
論文 参考訳（メタデータ） (2025-03-25T17:32:31Z) - Relative Representations: Topological and Geometric Perspectives [50.85040046976025]
相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。
相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。
第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
論文 参考訳（メタデータ） (2024-09-17T08:09:22Z) - Oracle-Preserving Latent Flows [58.720142291102135]
我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。
対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。
この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
論文 参考訳（メタデータ） (2023-02-02T00:13:32Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳（メタデータ） (2023-01-13T16:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。