論文の概要: Noether: The More Things Change, the More Stay the Same

• arxiv url: http://arxiv.org/abs/2104.05508v1
• Date: Mon, 12 Apr 2021 14:41:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:33:28.736435
• Title: Noether: The More Things Change, the More Stay the Same
• Title（参考訳）: Noether: 物事が変化すれば変わるほど、同じ状態になる
• Authors: Grzegorz G{\l}uch, R\"udiger Urbanke
• Abstract要約: ネーターの有名な定理は対称性が保存された量につながると主張する。 勾配降下下のニューラルネットワークの領域では、モデル対称性は勾配経路の制約を暗示する。 対称性は、勾配降下下でのニューラルネットワークの性能を理解する上で、さらに重要なツールであると考えることができる。
• 参考スコア（独自算出の注目度）: 1.14219428942199
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Symmetries have proven to be important ingredients in the analysis of neural networks. So far their use has mostly been implicit or seemingly coincidental. We undertake a systematic study of the role that symmetry plays. In particular, we clarify how symmetry interacts with the learning algorithm. The key ingredient in our study is played by Noether's celebrated theorem which, informally speaking, states that symmetry leads to conserved quantities (e.g., conservation of energy or conservation of momentum). In the realm of neural networks under gradient descent, model symmetries imply restrictions on the gradient path. E.g., we show that symmetry of activation functions leads to boundedness of weight matrices, for the specific case of linear activations it leads to balance equations of consecutive layers, data augmentation leads to gradient paths that have "momentum"-type restrictions, and time symmetry leads to a version of the Neural Tangent Kernel. Symmetry alone does not specify the optimization path, but the more symmetries are contained in the model the more restrictions are imposed on the path. Since symmetry also implies over-parametrization, this in effect implies that some part of this over-parametrization is cancelled out by the existence of the conserved quantities. Symmetry can therefore be thought of as one further important tool in understanding the performance of neural networks under gradient descent.
• Abstract（参考訳）: 対称性はニューラルネットワークの分析において重要な要素であることが証明されている。 今のところ、それらの使用はほとんどが暗黙的または一見偶然である。 我々は対称性が果たす役割を体系的に研究する。 特に,対称性が学習アルゴリズムとどのように相互作用するかを明らかにする。 この研究の重要な要素はネーターの有名な定理で、非公式に言えば対称性は保存された量(エネルギーの保存や運動量の保存など)をもたらす。 勾配降下下のニューラルネットワークの領域では、モデル対称性は勾配経路の制約を暗示する。 例えば、活性化関数の対称性は重み行列の有界性につながり、線形活性化の特定の場合、連続した層の平衡方程式につながり、データの拡張は「運動量」型の制限を持つ勾配経路につながり、時間対称性は神経接核のバージョンに繋がる。 対称性だけは最適化経路を規定しないが、より多くの対称性がモデルに含まれるほど、経路により多くの制限が課される。 対称性もまた過度なパラメトリゼーションを意味するので、これは事実上、この過度なパラメトリゼーションの一部が保存量の存在によって取り消されることを意味する。 したがって、対称性は勾配降下下でのニューラルネットワークの性能を理解する上で、さらに重要なツールであると考えることができる。

関連論文リスト

• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Parameter Symmetry and Noise Equilibrium of Stochastic Gradient Descent [8.347295051171525]
  勾配ノイズは、退化方向に沿ってパラメータ$theta$の体系的な相互作用を、一意に依存しない固定点$theta*$へと生成することを示す。 これらの点をノイズ平衡(it noise equilibria)と呼ぶのは、これらの点において、異なる方向からのノイズ寄与がバランスと整合性を持つためである。 勾配雑音のバランスとアライメントは、ニューラルネットワーク内でのプログレッシブ・シャープニング/フラット化や表現形成といった重要な現象を説明するための新しいメカニズムとして機能することを示す。
  論文  参考訳（メタデータ） (2024-02-11T13:00:04Z)
• Asymmetry activation and its relation to coherence under permutation operation [53.64687146666141]
  ディック状態とそのデコヒード状態は置換に対して不変である。 それぞれの量子ビットに他の量子ビットが加わったとき、全状態は置換に対して不変ではなく、置換に対して一定の非対称性を持つ。
  論文  参考訳（メタデータ） (2023-11-17T03:33:40Z)
• Lie Point Symmetry and Physics Informed Networks [59.56218517113066]
  本稿では、損失関数を用いて、PINNモデルが基礎となるPDEを強制しようとするのと同じように、リー点対称性をネットワークに通知するロス関数を提案する。 我々の対称性の損失は、リー群の無限小生成元がPDE解を保存することを保証する。 実験により,PDEのリー点対称性による誘導バイアスはPINNの試料効率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-11-07T19:07:16Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• Symmetry Induces Structure and Constraint of Learning [0.0]
  機械学習モデルの学習行動に影響を及ぼすか、決定しないかにかかわらず、損失関数対称性の重要性を明らかにする。 ディープラーニングにおけるミラー対称性の一般的な例としては、再スケーリング、回転、置換対称性がある。 ニューラルネットワークにおける可塑性の喪失や様々な崩壊現象などの興味深い現象を理論的枠組みで説明できることを示す。
  論文  参考訳（メタデータ） (2023-09-29T02:21:31Z)
• Identifying the Group-Theoretic Structure of Machine-Learned Symmetries [41.56233403862961]
  本稿では,そのような機械学習対称性の群理論構造を検証し,同定する手法を提案する。 粒子物理学への応用として、非アベリアゲージ対称性の自発的破壊後の残留対称性の同定を示す。
  論文  参考訳（メタデータ） (2023-09-14T17:03:50Z)
• Symmetry protected entanglement in random mixed states [0.0]
  ヒルベルト空間の対称セクターにおける典型的状態の3部交絡性に対する対称性の効果について検討する。 特に、アベリア対称性を考察し、$mathbbZ_N$ および $U(1)$ 対称性群を持つ系の対数的絡み合いの負性について明示的な表現を導出する。
  論文  参考訳（メタデータ） (2021-11-30T19:00:07Z)
• Noether's Learning Dynamics: The Role of Kinetic Symmetry Breaking in Deep Learning [7.310043452300738]
  性質上、対称性は規則性を支配し、対称性破壊はテクスチャをもたらす。 近年の実験では,損失関数の対称性が学習性能と密接に関連していることが示唆された。 学習則の対称性を損失関数に加えて考慮し,新しい設計原理として対称性の破れを提案する。
  論文  参考訳（メタデータ） (2021-05-06T14:36:10Z)
• Symmetry Breaking in Symmetric Tensor Decomposition [44.181747424363245]
  我々は、対称テンソルの点階分解を計算する非対称問題を考える。 損失関数の臨界点が標準手法によって検出されることを示す。
  論文  参考訳（メタデータ） (2021-03-10T18:11:22Z)
• Finding Symmetry Breaking Order Parameters with Euclidean Neural Networks [2.735801286587347]
  我々は、対称性同変ニューラルネットワークがキュリーの原理を支持し、多くの対称性関連科学的な疑問を単純な最適化問題に表すのに使用できることを示した。 これらの特性を数学的に証明し、ユークリッド対称性同変ニューラルネットワークを訓練し、対称性を破る入力を学習し、正方形を長方形に変形させ、ペロブスカイトのオクタヘドラ傾斜パターンを生成する。
  論文  参考訳（メタデータ） (2020-07-04T17:24:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。