論文の概要: Discovering Symmetries in Neural Network Parameter Spaces
- arxiv url: http://arxiv.org/abs/2609.33527v1
- Date: Sun, 27 Sep 2026 12:51:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 15:59:25.575634
- Title: Discovering Symmetries in Neural Network Parameter Spaces
- Title（参考訳）: ニューラルネットワークパラメータ空間における対称性の発見
- Abstract要約: 宇宙対称性は、ニューラルネットワークの損失ランドスケープ、トレーニングダイナミクス、一般化を理解するために重要である。
筆者らのフレームワークは,従来未知のパラメータを含むパラメータ対称性を体系的に発見する。
無限小キャラクタリゼーションとサブネットワーク構築を用いて,パラメータ対称性の自動発見のためのフレームワークを実装した。
- 参考スコア（独自算出の注目度）: 38.735380435048256
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Parameter space symmetries are important for understanding neural networks' loss landscape, training dynamics, and generalization. However, systematically identifying these symmetries remains a challenge. In this paper, we formalize data-dependent parameter symmetries and characterize loss invariance and the group-action axioms through infinitesimal conditions, which provide objectives for jointly learning group generators and nonlinear action maps. Our framework systematically uncovers parameter symmetries, including previously unknown ones. To study larger networks, we establish conditions under which subnetwork symmetries extend to the full model. The same construction gives an explicit family of finite-batch symmetries, providing both analytical examples and a foundation for discovery through small subnetworks. Using the infinitesimal characterization and subnetwork construction, we implement a framework for automated discovery of parameter symmetries, and successfully uncovered symmetries in various architectures, including pretrained transformer models.
- Abstract（参考訳）: パラメータ空間対称性は、ニューラルネットワークの損失ランドスケープ、トレーニングダイナミクス、一般化を理解するために重要である。
しかし、これらの対称性を体系的に同定することは依然として課題である。
本稿では、データ依存パラメータ対称性を定式化し、無限小条件でグループ作用公理と損失不変性を特徴づけ、グループ生成器と非線形動作マップを共同学習する目的を提供する。
筆者らのフレームワークは,従来未知のパラメータを含むパラメータ対称性を体系的に発見する。
より大規模なネットワークを研究するために、サブネットワーク対称性がフルモデルに拡張される条件を確立する。
同じ構成は有限バッチ対称性の明示的な族を与え、分析的な例と小さなサブネットによる発見の基礎を提供する。
無限小キャラクタリゼーションとサブネットワーク構築を用いて、パラメータ対称性の自動発見のためのフレームワークを実装し、事前学習されたトランスフォーマーモデルを含む様々なアーキテクチャにおける対称性の発見に成功した。
関連論文リスト
- Symmetry in Neural Network Parameter Spaces [36.618818500498676]
冗長性のかなりの部分はパラメータ空間の対称性によって説明される。
これらの対称性は損失ランドスケープと制約学習のダイナミクスを形成し、最適化、一般化、モデルの複雑さを理解するための新しいレンズを提供する。
既存の文献を要約し、対称性と学習理論の関連を明らかにするとともに、この新興分野におけるギャップと機会を特定する。
論文 参考訳（メタデータ） (2025-06-16T00:59:12Z) - The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。
我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。
実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
論文 参考訳（メタデータ） (2024-05-30T16:32:31Z) - Latent Space Symmetry Discovery [31.28537696897416]
本稿では,非線形群作用の対称性を発見できる新しい生成モデルであるLatent LieGANを提案する。
本モデルでは,群作用に関する条件下で非線形対称性を表現できることが示されている。
LaLiGANはまた、方程式発見や長期予測を含む下流のタスクに有用な構造化された潜在空間をもたらす。
論文 参考訳（メタデータ） (2023-09-29T19:33:01Z) - Oracle-Preserving Latent Flows [58.720142291102135]
我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。
対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。
この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
論文 参考訳（メタデータ） (2023-02-02T00:13:32Z) - LieGG: Studying Learned Lie Group Generators [1.5293427903448025]
ニューラルネットワークに組み込まれた対称性は、データを保存して学習することで、幅広いタスクに対して非常に有益であるように思える。
本稿では,ニューラルネットワークが学習した対称性を抽出し,ネットワークの不変度を評価する手法を提案する。
論文 参考訳（メタデータ） (2022-10-09T20:42:37Z) - Sampling asymmetric open quantum systems for artificial neural networks [77.34726150561087]
非対称な開系に対する高速収束時間と高いスケーラビリティを実現し,非対称性を考慮したハイブリッドサンプリング戦略を提案する。
我々は、ニューラルネットワークの普遍的適用性を強調し、ニューラルネットワークの普遍的適用性を概説する。
論文 参考訳（メタデータ） (2020-12-20T18:25:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。