論文の概要: Noether's Learning Dynamics: The Role of Kinetic Symmetry Breaking in
Deep Learning
- arxiv url: http://arxiv.org/abs/2105.02716v1
- Date: Thu, 6 May 2021 14:36:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 13:31:31.322227
- Title: Noether's Learning Dynamics: The Role of Kinetic Symmetry Breaking in
Deep Learning
- Title(参考訳): ネーターの学習ダイナミクス:深層学習における速度対称性の破れの役割
- Authors: Hidenori Tanaka, Daniel Kunin
- Abstract要約: 性質上、対称性は規則性を支配し、対称性破壊はテクスチャをもたらす。
近年の実験では,損失関数の対称性が学習性能と密接に関連していることが示唆された。
学習則の対称性を損失関数に加えて考慮し,新しい設計原理として対称性の破れを提案する。
- 参考スコア(独自算出の注目度): 7.310043452300738
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In nature, symmetry governs regularities, while symmetry breaking brings
texture. Here, we reveal a novel role of symmetry breaking behind efficiency
and stability in learning, a critical issue in machine learning. Recent
experiments suggest that the symmetry of the loss function is closely related
to the learning performance. This raises a fundamental question. Is such
symmetry beneficial, harmful, or irrelevant to the success of learning? Here,
we demystify this question and pose symmetry breaking as a new design principle
by considering the symmetry of the learning rule in addition to the loss
function. We model the discrete learning dynamics using a continuous-time
Lagrangian formulation, in which the learning rule corresponds to the kinetic
energy and the loss function corresponds to the potential energy. We identify
kinetic asymmetry unique to learning systems, where the kinetic energy often
does not have the same symmetry as the potential (loss) function reflecting the
non-physical symmetries of the loss function and the non-Euclidean metric used
in learning rules. We generalize Noether's theorem known in physics to
explicitly take into account this kinetic asymmetry and derive the resulting
motion of the Noether charge. Finally, we apply our theory to modern deep
networks with normalization layers and reveal a mechanism of implicit adaptive
optimization induced by the kinetic symmetry breaking.
- Abstract(参考訳): 自然界では、対称性は正則性を支配するが、対称性の破れはテクスチャをもたらす。
本稿では,機械学習における重要な課題である学習における効率性と安定性の背後にある対称性の新たな役割を明らかにする。
近年の実験では,損失関数の対称性が学習性能と密接に関連していることが示唆された。
これは根本的な疑問を引き起こす。
このような対称性は、学習の成功に有益か、有害か、無関係か?
そこで本研究では, 損失関数に加えて学習規則の対称性も考慮し, 新たな設計原理として対称性の破れを提起する。
連続時間ラグランジアン定式化を用いて離散学習力学をモデル化し、学習規則は運動エネルギーに対応し、損失関数はポテンシャルエネルギーに対応している。
運動エネルギーは、損失関数の非物理的対称性と学習規則で使用される非ユークリッド計量を反映するポテンシャル(損失)関数としばしば同じ対称性を持たない、学習システムに特有の運動的非対称性を同定する。
物理学で知られているネーターの定理を一般化し、この運動的非対称性を明示的に考慮し、ネーター電荷の運動を導出する。
最後に,本理論を正規化層を持つ現代の深層ネットワークに適用し,速度対称性の破れによる暗黙的適応最適化のメカニズムを明らかにする。
関連論文リスト
- The Implicit Bias of Gradient Noise: A Symmetry Perspective [7.6730288475318815]
損失関数に連続対称性が存在する場合、勾配降下(SGD)の学習力学を特徴付ける。
対称性が学習力学にどのように影響するかによって、対称性の族を2つのクラスに分けることができることを示す。
論文 参考訳(メタデータ) (2024-02-11T13:00:04Z) - Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。
対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。
私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文 参考訳(メタデータ) (2023-10-09T20:22:43Z) - Symmetry Leads to Structured Constraint of Learning [0.0]
機械学習モデルの学習行動に影響を及ぼすか、決定しないかにかかわらず、損失関数対称性の重要性を明らかにする。
再スケーリング対称性はスパース性、回転対称性は低いランク性、置換対称性は均質なアンサンブルをもたらすことを示す。
論文 参考訳(メタデータ) (2023-09-29T02:21:31Z) - Third quantization of open quantum systems: new dissipative symmetries
and connections to phase-space and Keldysh field theory formulations [77.34726150561087]
3つの方法全てを明示的に接続する方法で第3量子化の手法を再構成する。
まず、我々の定式化は、すべての二次ボゾンあるいはフェルミオンリンドブラディアンに存在する基本散逸対称性を明らかにする。
ボソンに対して、ウィグナー関数と特徴関数は密度行列の「波動関数」と考えることができる。
論文 参考訳(メタデータ) (2023-02-27T18:56:40Z) - Entanglement asymmetry as a probe of symmetry breaking [0.0]
拡張量子系において、対称性がどれだけ壊れているかを定量化することは、本質的に関心のサブシステムに結びついている。
エンタングルメント非対称性をダブする対称性破れのサブシステム測度を導入する。
予想されることに、より大きいのはサブシステムであり、遅いのは復元である。
論文 参考訳(メタデータ) (2022-07-29T14:03:30Z) - Exact solutions of interacting dissipative systems via weak symmetries [77.34726150561087]
我々は任意の強い相互作用や非線形性を持つクラスマルコフ散逸系(英語版)のリウヴィリアンを解析的に対角化する。
これにより、フルダイナミックスと散逸スペクトルの正確な記述が可能になる。
我々の手法は他の様々なシステムに適用でき、複雑な駆動散逸量子系の研究のための強力な新しいツールを提供することができる。
論文 参考訳(メタデータ) (2021-09-27T17:45:42Z) - Noether: The More Things Change, the More Stay the Same [1.14219428942199]
ネーターの有名な定理は対称性が保存された量につながると主張する。
勾配降下下のニューラルネットワークの領域では、モデル対称性は勾配経路の制約を暗示する。
対称性は、勾配降下下でのニューラルネットワークの性能を理解する上で、さらに重要なツールであると考えることができる。
論文 参考訳(メタデータ) (2021-04-12T14:41:05Z) - Symmetry Breaking in Symmetric Tensor Decomposition [44.181747424363245]
我々は、対称テンソルの点階分解を計算する非対称問題を考える。
損失関数の臨界点が標準手法によって検出されることを示す。
論文 参考訳(メタデータ) (2021-03-10T18:11:22Z) - A Symmetric Loss Perspective of Reliable Machine Learning [87.68601212686086]
平衡誤差率 (BER) の最小化において, 対称損失が破損ラベルからのロバストな分類をいかに生み出すかを検討する。
我々は、関連するキーワードからのみ学習したい問題において、AUC手法が自然言語処理にどのように役立つかを実証する。
論文 参考訳(メタデータ) (2021-01-05T06:25:47Z) - Time-Reversal Symmetric ODE Network [138.02741983098454]
時間反転対称性は古典力学や量子力学においてしばしば保持される基本的な性質である。
本稿では,通常の微分方程式(ODE)ネットワークがこの時間反転対称性にどの程度よく適合しているかを測定する新しい損失関数を提案する。
時間反転対称性を完全に持たないシステムであっても, TRS-ODEN はベースラインよりも優れた予測性能が得られることを示す。
論文 参考訳(メタデータ) (2020-07-22T12:19:40Z) - Finding Symmetry Breaking Order Parameters with Euclidean Neural
Networks [2.735801286587347]
我々は、対称性同変ニューラルネットワークがキュリーの原理を支持し、多くの対称性関連科学的な疑問を単純な最適化問題に表すのに使用できることを示した。
これらの特性を数学的に証明し、ユークリッド対称性同変ニューラルネットワークを訓練し、対称性を破る入力を学習し、正方形を長方形に変形させ、ペロブスカイトのオクタヘドラ傾斜パターンを生成する。
論文 参考訳(メタデータ) (2020-07-04T17:24:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。