論文の概要: Symmetry Induces Structure and Constraint of Learning

• arxiv url: http://arxiv.org/abs/2309.16932v2
• Date: Sat, 1 Jun 2024 22:07:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 20:50:48.278526
• Title: Symmetry Induces Structure and Constraint of Learning
• Title（参考訳）: 対称性は学習の構造と制約を誘導する
• Authors: Liu Ziyin,
• Abstract要約: 機械学習モデルの学習行動に影響を及ぼすか、決定しないかにかかわらず、損失関数対称性の重要性を明らかにする。 ディープラーニングにおけるミラー対称性の一般的な例としては、再スケーリング、回転、置換対称性がある。 ニューラルネットワークにおける可塑性の喪失や様々な崩壊現象などの興味深い現象を理論的枠組みで説明できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to common architecture designs, symmetries exist extensively in contemporary neural networks. In this work, we unveil the importance of the loss function symmetries in affecting, if not deciding, the learning behavior of machine learning models. We prove that every mirror-reflection symmetry, with reflection surface $O$, in the loss function leads to the emergence of a constraint on the model parameters $\theta$: $O^T\theta =0$. This constrained solution becomes satisfied when either the weight decay or gradient noise is large. Common instances of mirror symmetries in deep learning include rescaling, rotation, and permutation symmetry. As direct corollaries, we show that rescaling symmetry leads to sparsity, rotation symmetry leads to low rankness, and permutation symmetry leads to homogeneous ensembling. Then, we show that the theoretical framework can explain intriguing phenomena, such as the loss of plasticity and various collapse phenomena in neural networks, and suggest how symmetries can be used to design an elegant algorithm to enforce hard constraints in a differentiable way.
• Abstract（参考訳）: 一般的なアーキテクチャ設計のため、現代のニューラルネットワークでは対称性が広く存在する。 本研究では,機械学習モデルの学習行動に影響を及ぼすような損失関数対称性の重要性を明らかにする。 損失関数における反射面$O$のミラー反射対称性は、モデルパラメータ$\theta$:$O^T\theta =0$の制約の出現につながることを証明している。 この拘束解は、重み減衰または勾配雑音が大きいときに満たされる。 ディープラーニングにおけるミラー対称性の一般的な例としては、再スケーリング、回転、置換対称性がある。 直交系として、再スケーリング対称性はスパーシティ、回転対称性は低いランク性、置換対称性は均質なアンサンブルをもたらすことを示す。 そこで, ニューラルネットワークにおける可塑性の喪失や様々な崩壊現象などの興味深い現象を理論的枠組みで説明できることを示すとともに, 厳密なアルゴリズムを設計し, 厳密な制約を異なる方法で適用する方法を提案する。

関連論文リスト

• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Parameter Symmetry and Noise Equilibrium of Stochastic Gradient Descent [8.347295051171525]
  勾配ノイズは、退化方向に沿ってパラメータ$theta$の体系的な相互作用を、一意に依存しない固定点$theta*$へと生成することを示す。 これらの点をノイズ平衡(it noise equilibria)と呼ぶのは、これらの点において、異なる方向からのノイズ寄与がバランスと整合性を持つためである。 勾配雑音のバランスとアライメントは、ニューラルネットワーク内でのプログレッシブ・シャープニング/フラット化や表現形成といった重要な現象を説明するための新しいメカニズムとして機能することを示す。
  論文  参考訳（メタデータ） (2024-02-11T13:00:04Z)
• Lie Point Symmetry and Physics Informed Networks [59.56218517113066]
  本稿では、損失関数を用いて、PINNモデルが基礎となるPDEを強制しようとするのと同じように、リー点対称性をネットワークに通知するロス関数を提案する。 我々の対称性の損失は、リー群の無限小生成元がPDE解を保存することを保証する。 実験により,PDEのリー点対称性による誘導バイアスはPINNの試料効率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-11-07T19:07:16Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras from First Principles [55.41644538483948]
  ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。 完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。 また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
  論文  参考訳（メタデータ） (2023-01-13T16:25:25Z)
• On the Importance of Asymmetry for Siamese Representation Learning [53.86929387179092]
  シームズネットワークは、2つの並列エンコーダと概念的に対称である。 ネットワーク内の2つのエンコーダを明確に区別することで,非対称性の重要性について検討する。 非対称設計による改善は、より長いトレーニングスケジュール、複数の他のフレームワーク、より新しいバックボーンに一般化されている。
  論文  参考訳（メタデータ） (2022-04-01T17:57:24Z)
• Exact solutions of interacting dissipative systems via weak symmetries [77.34726150561087]
  我々は任意の強い相互作用や非線形性を持つクラスマルコフ散逸系(英語版)のリウヴィリアンを解析的に対角化する。 これにより、フルダイナミックスと散逸スペクトルの正確な記述が可能になる。 我々の手法は他の様々なシステムに適用でき、複雑な駆動散逸量子系の研究のための強力な新しいツールを提供することができる。
  論文  参考訳（メタデータ） (2021-09-27T17:45:42Z)
• Machine-learning hidden symmetries [0.0]
  本稿では,新しい座標系にのみ現れる隠れ対称性を自動検出する手法を提案する。 その中心となる考え方は、ある偏微分方程式の違反として非対称性を定量化し、すべての可逆変換の空間上のそのような違反を数値的に最小化し、可逆ニューラルネットワークとしてパラメータ化することである。
  論文  参考訳（メタデータ） (2021-09-20T17:55:02Z)
• Noether's Learning Dynamics: The Role of Kinetic Symmetry Breaking in Deep Learning [7.310043452300738]
  性質上、対称性は規則性を支配し、対称性破壊はテクスチャをもたらす。 近年の実験では,損失関数の対称性が学習性能と密接に関連していることが示唆された。 学習則の対称性を損失関数に加えて考慮し,新しい設計原理として対称性の破れを提案する。
  論文  参考訳（メタデータ） (2021-05-06T14:36:10Z)
• Noether: The More Things Change, the More Stay the Same [1.14219428942199]
  ネーターの有名な定理は対称性が保存された量につながると主張する。 勾配降下下のニューラルネットワークの領域では、モデル対称性は勾配経路の制約を暗示する。 対称性は、勾配降下下でのニューラルネットワークの性能を理解する上で、さらに重要なツールであると考えることができる。
  論文  参考訳（メタデータ） (2021-04-12T14:41:05Z)
• Finding Symmetry Breaking Order Parameters with Euclidean Neural Networks [2.735801286587347]
  我々は、対称性同変ニューラルネットワークがキュリーの原理を支持し、多くの対称性関連科学的な疑問を単純な最適化問題に表すのに使用できることを示した。 これらの特性を数学的に証明し、ユークリッド対称性同変ニューラルネットワークを訓練し、対称性を破る入力を学習し、正方形を長方形に変形させ、ペロブスカイトのオクタヘドラ傾斜パターンを生成する。
  論文  参考訳（メタデータ） (2020-07-04T17:24:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。