論文の概要: On Parameter Symmetries and Conservation Laws in Gradient Flow

• arxiv url: http://arxiv.org/abs/2609.34549v1
• Date: Mon, 28 Sep 2026 08:10:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 12:34:05.585148
• Title: On Parameter Symmetries and Conservation Laws in Gradient Flow
• Title（参考訳）: 勾配流れにおけるパラメータ対称性と保存則について
• Abstract要約: 空間対称性と保存法則は、損失ランドスケープとニューラルネットワークの暗黙のバイアスを理解する上で重要な役割を果たす。 我々は, 対称性が保存法則に対応する条件を含む, 2つの概念の正確な関係を明らかにする統一的な幾何学的枠組みを開発する。
• 参考スコア（独自算出の注目度）: 14.504487237497282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter space symmetries and conservation laws play an important role in understanding the loss landscapes and implicit biases of neural networks. Inspired by Noether's theorem in physics, prior works have sought to derive conservation laws under gradient flow from parameter symmetries, but the scope and limitations of this connection remain unclear. We develop a unified geometric framework that clarifies the precise relationship between the two notions, including the conditions under which symmetries correspond to conservation laws. We introduce a notion of compositional identifiability and use it to establish a general inheritance principle for complete characterizations of symmetries and conservation laws in multilayer networks. We apply the framework to multi-head and grouped-query attention, polynomial neural networks, and square deep linear networks.
• Abstract（参考訳）: パラメータ空間対称性と保存法則は、ニューラルネットワークの損失景観と暗黙のバイアスを理解する上で重要な役割を果たす。 物理学におけるネーターの定理に触発された先行研究は、パラメータ対称性から勾配流下での保存法則を導出しようとしたが、この接続の範囲と限界は未だ不明である。 我々は, 対称性が保存法則に対応する条件を含む, 2つの概念の正確な関係を明らかにする統一的な幾何学的枠組みを開発する。 構成識別可能性の概念を導入し,それを多層ネットワークにおける対称性と保存則の完全な特徴付けのための一般的な継承原理を確立するために利用する。 このフレームワークをマルチヘッドおよびグループ型クエリーアテンション、多項式ニューラルネットワーク、および正方形ディープ線形ネットワークに適用する。

関連論文リスト

• Discovering Symmetries in Neural Network Parameter Spaces [38.735380435048256]
  宇宙対称性は、ニューラルネットワークの損失ランドスケープ、トレーニングダイナミクス、一般化を理解するために重要である。 筆者らのフレームワークは,従来未知のパラメータを含むパラメータ対称性を体系的に発見する。 無限小キャラクタリゼーションとサブネットワーク構築を用いて,パラメータ対称性の自動発見のためのフレームワークを実装した。
  論文  参考訳（メタデータ） (2026-09-27T12:51:22Z)
• The Symmetries of Three-Layer ReLU Networks [13.013978887362674]
  深部ReLUネットワークにおけるパラメータ対称性を解析するためのフレームワークを開発する。 これらの対称性のいくつかは勾配流に沿って局所的な保存法則を導出するが、それ以外は導出しない。
  論文  参考訳（メタデータ） (2026-05-18T12:38:11Z)
• Topology and Geometry of the Learning Space of ReLU Networks: Connectivity and Singularities [4.110453843035319]
  本研究では,DAGとその誘起サブネットワークのトポロジーと特異点が複雑に結びついていることを示す。 これらの特異点の到達可能性について議論し、微分可能なプルーニングとの原理的な接続を確立する。
  論文  参考訳（メタデータ） (2026-01-31T12:30:31Z)
• Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning [73.18052192964349]
  我々は、連続的なニューラルネットワークトレーニングのダイナミックスから、離散的なシンボル構造が自然に現れるかを説明する理論的枠組みを開発する。 ニューラルパラメータを測度空間に上げ、ワッサーシュタイン勾配流としてモデル化することにより、幾何的制約の下では、パラメータ測度 $mu_t$ が2つの同時現象となることを示す。
  論文  参考訳（メタデータ） (2025-06-26T22:40:30Z)
• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Symmetries and field tensor network states [0.6299766708197883]
  臨界スピン系のテンソルネットワーク状態のクラスにおける物理空間と仮想空間の対称性表現の相互作用について検討する。 物理指標上の対称性を、仮想空間上の対応するCFT電流を持つ可換体として表すことができる。 我々は、以前に定義された対称性に関して、マジュムダル・ゴーシュ点の2つの基底状態の臨界対称性保護位相的性質を導出する。
  論文  参考訳（メタデータ） (2022-09-22T18:01:39Z)
• A Unifying and Canonical Description of Measure-Preserving Diffusions [60.59592461429012]
  ユークリッド空間における測度保存拡散の完全なレシピは、最近、いくつかのMCMCアルゴリズムを単一のフレームワークに統合した。 我々は、この構成を任意の多様体に改善し一般化する幾何学理論を開発する。
  論文  参考訳（メタデータ） (2021-05-06T17:36:55Z)
• Neural Mechanics: Symmetry and Broken Conservation Laws in Deep Learning Dynamics [26.485269202381932]
  トレーニング中のニューラルネットワークパラメータのダイナミクスを理解することは、ディープラーニングの理論基盤を構築する上で重要な課題のひとつだ。 このような対称性は勾配やヘッシアンに厳密な幾何学的制約を課し、関連する保存則を導く。 SGDが有限学習速度で行った数値軌道をよりよく近似する差分方程式である修正勾配流の導出に有限差分法からツールを適用します。
  論文  参考訳（メタデータ） (2020-12-08T20:33:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。