論文の概要: Noether's Learning Dynamics: The Role of Kinetic Symmetry Breaking in
Deep Learning
- arxiv url: http://arxiv.org/abs/2105.02716v1
- Date: Thu, 6 May 2021 14:36:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 13:31:31.322227
- Title: Noether's Learning Dynamics: The Role of Kinetic Symmetry Breaking in
Deep Learning
- Title（参考訳）: ネーターの学習ダイナミクス:深層学習における速度対称性の破れの役割
- Authors: Hidenori Tanaka, Daniel Kunin
- Abstract要約: 性質上、対称性は規則性を支配し、対称性破壊はテクスチャをもたらす。
近年の実験では,損失関数の対称性が学習性能と密接に関連していることが示唆された。
学習則の対称性を損失関数に加えて考慮し,新しい設計原理として対称性の破れを提案する。
- 参考スコア（独自算出の注目度）: 7.310043452300738
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In nature, symmetry governs regularities, while symmetry breaking brings
texture. Here, we reveal a novel role of symmetry breaking behind efficiency
and stability in learning, a critical issue in machine learning. Recent
experiments suggest that the symmetry of the loss function is closely related
to the learning performance. This raises a fundamental question. Is such
symmetry beneficial, harmful, or irrelevant to the success of learning? Here,
we demystify this question and pose symmetry breaking as a new design principle
by considering the symmetry of the learning rule in addition to the loss
function. We model the discrete learning dynamics using a continuous-time
Lagrangian formulation, in which the learning rule corresponds to the kinetic
energy and the loss function corresponds to the potential energy. We identify
kinetic asymmetry unique to learning systems, where the kinetic energy often
does not have the same symmetry as the potential (loss) function reflecting the
non-physical symmetries of the loss function and the non-Euclidean metric used
in learning rules. We generalize Noether's theorem known in physics to
explicitly take into account this kinetic asymmetry and derive the resulting
motion of the Noether charge. Finally, we apply our theory to modern deep
networks with normalization layers and reveal a mechanism of implicit adaptive
optimization induced by the kinetic symmetry breaking.
- Abstract（参考訳）: 自然界では、対称性は正則性を支配するが、対称性の破れはテクスチャをもたらす。
本稿では,機械学習における重要な課題である学習における効率性と安定性の背後にある対称性の新たな役割を明らかにする。
近年の実験では,損失関数の対称性が学習性能と密接に関連していることが示唆された。
これは根本的な疑問を引き起こす。
このような対称性は、学習の成功に有益か、有害か、無関係か?
そこで本研究では, 損失関数に加えて学習規則の対称性も考慮し, 新たな設計原理として対称性の破れを提起する。
連続時間ラグランジアン定式化を用いて離散学習力学をモデル化し、学習規則は運動エネルギーに対応し、損失関数はポテンシャルエネルギーに対応している。
運動エネルギーは、損失関数の非物理的対称性と学習規則で使用される非ユークリッド計量を反映するポテンシャル(損失)関数としばしば同じ対称性を持たない、学習システムに特有の運動的非対称性を同定する。
物理学で知られているネーターの定理を一般化し、この運動的非対称性を明示的に考慮し、ネーター電荷の運動を導出する。
最後に,本理論を正規化層を持つ現代の深層ネットワークに適用し,速度対称性の破れによる暗黙的適応最適化のメカニズムを明らかにする。
関連論文リスト
- TANGO: Time-Reversal Latent GraphODE for Multi-Agent Dynamical Systems [43.39754726042369]
連続グラフニューラルネットワークに基づく常微分方程式(GraphODE)により予測される前後の軌跡を整列するソフト制約として,単純かつ効果的な自己監督型正規化項を提案する。
時間反転対称性を効果的に課し、古典力学の下でより広い範囲の力学系にわたってより正確なモデル予測を可能にする。
様々な物理システムに対する実験結果から,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-10-10T08:52:16Z) - Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。
対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。
私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文 参考訳（メタデータ） (2023-10-09T20:22:43Z) - Symmetry Induces Structure and Constraint of Learning [0.0]
機械学習モデルの学習行動に影響を及ぼすか、決定しないかにかかわらず、損失関数対称性の重要性を明らかにする。
ディープラーニングにおけるミラー対称性の一般的な例としては、再スケーリング、回転、置換対称性がある。
ニューラルネットワークにおける可塑性の喪失や様々な崩壊現象などの興味深い現象を理論的枠組みで説明できることを示す。
論文 参考訳（メタデータ） (2023-09-29T02:21:31Z) - Identifying the Group-Theoretic Structure of Machine-Learned Symmetries [41.56233403862961]
本稿では,そのような機械学習対称性の群理論構造を検証し,同定する手法を提案する。
粒子物理学への応用として、非アベリアゲージ対称性の自発的破壊後の残留対称性の同定を示す。
論文 参考訳（メタデータ） (2023-09-14T17:03:50Z) - Entanglement asymmetry as a probe of symmetry breaking [0.0]
拡張量子系において、対称性がどれだけ壊れているかを定量化することは、本質的に関心のサブシステムに結びついている。
エンタングルメント非対称性をダブする対称性破れのサブシステム測度を導入する。
予想されることに、より大きいのはサブシステムであり、遅いのは復元である。
論文 参考訳（メタデータ） (2022-07-29T14:03:30Z) - Exact solutions of interacting dissipative systems via weak symmetries [77.34726150561087]
我々は任意の強い相互作用や非線形性を持つクラスマルコフ散逸系(英語版)のリウヴィリアンを解析的に対角化する。
これにより、フルダイナミックスと散逸スペクトルの正確な記述が可能になる。
我々の手法は他の様々なシステムに適用でき、複雑な駆動散逸量子系の研究のための強力な新しいツールを提供することができる。
論文 参考訳（メタデータ） (2021-09-27T17:45:42Z) - Noether: The More Things Change, the More Stay the Same [1.14219428942199]
ネーターの有名な定理は対称性が保存された量につながると主張する。
勾配降下下のニューラルネットワークの領域では、モデル対称性は勾配経路の制約を暗示する。
対称性は、勾配降下下でのニューラルネットワークの性能を理解する上で、さらに重要なツールであると考えることができる。
論文 参考訳（メタデータ） (2021-04-12T14:41:05Z) - Symmetry Breaking in Symmetric Tensor Decomposition [44.181747424363245]
我々は、対称テンソルの点階分解を計算する非対称問題を考える。
損失関数の臨界点が標準手法によって検出されることを示す。
論文 参考訳（メタデータ） (2021-03-10T18:11:22Z) - A Symmetric Loss Perspective of Reliable Machine Learning [87.68601212686086]
平衡誤差率 (BER) の最小化において, 対称損失が破損ラベルからのロバストな分類をいかに生み出すかを検討する。
我々は、関連するキーワードからのみ学習したい問題において、AUC手法が自然言語処理にどのように役立つかを実証する。
論文 参考訳（メタデータ） (2021-01-05T06:25:47Z) - Latent symmetry induced degeneracies [0.0]
我々は、等スペクトル有効ハミルトニアンの対称性にそれらを追従することで、退化を説明するアプローチを開発する。
応用として、実ハミルトニアンの回転対称性によって引き起こされる退化を非アーベル潜在対称性群に関連付ける。
論文 参考訳（メタデータ） (2020-11-26T17:37:30Z) - Finding Symmetry Breaking Order Parameters with Euclidean Neural
Networks [2.735801286587347]
我々は、対称性同変ニューラルネットワークがキュリーの原理を支持し、多くの対称性関連科学的な疑問を単純な最適化問題に表すのに使用できることを示した。
これらの特性を数学的に証明し、ユークリッド対称性同変ニューラルネットワークを訓練し、対称性を破る入力を学習し、正方形を長方形に変形させ、ペロブスカイトのオクタヘドラ傾斜パターンを生成する。
論文 参考訳（メタデータ） (2020-07-04T17:24:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。