論文の概要: Symmetry Leads to Structured Constraint of Learning
- arxiv url: http://arxiv.org/abs/2309.16932v1
- Date: Fri, 29 Sep 2023 02:21:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 15:44:39.205781
- Title: Symmetry Leads to Structured Constraint of Learning
- Title(参考訳): 対称性は学習の構造的制約につながる
- Authors: Liu Ziyin
- Abstract要約: 機械学習モデルの学習行動に影響を及ぼすか、決定しないかにかかわらず、損失関数対称性の重要性を明らかにする。
再スケーリング対称性はスパース性、回転対称性は低いランク性、置換対称性は均質なアンサンブルをもたらすことを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to common architecture designs, symmetries exist extensively in
contemporary neural networks. In this work, we unveil the importance of the
loss function symmetries in affecting, if not deciding, the learning behavior
of machine learning models. We prove that every mirror symmetry of the loss
function leads to a structured constraint, which becomes a favored solution
when either the weight decay or gradient noise is large. As direct corollaries,
we show that rescaling symmetry leads to sparsity, rotation symmetry leads to
low rankness, and permutation symmetry leads to homogeneous ensembling. Then,
we show that the theoretical framework can explain the loss of plasticity and
various collapse phenomena in neural networks and suggest how symmetries can be
used to design algorithms to enforce hard constraints in a differentiable way.
- Abstract(参考訳): 共通のアーキテクチャ設計のため、現代ニューラルネットワークでは対称性が広く存在する。
本研究では,機械学習モデルの学習行動に影響を及ぼすかどうかを判断する上で,損失関数対称性の重要性を明らかにする。
損失関数のすべてのミラー対称性が構造的制約に導かれることを証明し、重み減衰あるいは勾配雑音が大きい場合に有利な解となる。
直接系として,再スケーリング対称性がスパース性,回転対称性が低ランク性,置換対称性が均質なセンスミリングをもたらすことを示す。
そこで, ニューラルネットワークにおける可塑性の喪失と様々な崩壊現象を理論的枠組みで説明できることを示すとともに, アルゴリズムの設計に対称性を用いて, 異なる方法でハード制約を強制する方法を提案する。
関連論文リスト
- Lie Point Symmetry and Physics Informed Networks [59.56218517113066]
本稿では、損失関数を用いて、PINNモデルが基礎となるPDEを強制しようとするのと同じように、リー点対称性をネットワークに通知するロス関数を提案する。
我々の対称性の損失は、リー群の無限小生成元がPDE解を保存することを保証する。
実験により,PDEのリー点対称性による誘導バイアスはPINNの試料効率を大幅に向上させることが示された。
論文 参考訳(メタデータ) (2023-11-07T19:07:16Z) - Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。
対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。
私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文 参考訳(メタデータ) (2023-10-09T20:22:43Z) - The Surprising Effectiveness of Equivariant Models in Domains with
Latent Symmetry [6.716931832076628]
領域対称性と正確に一致しない対称性制約を課すことは、環境における真の対称性を学ぶのに非常に有用であることを示す。
ロボット操作・制御問題における教師付き学習と強化学習の両方において,同変モデルが潜在対称性を持つ領域における非同変手法を大幅に上回ることを示す。
論文 参考訳(メタデータ) (2022-11-16T21:51:55Z) - Annihilation of Spurious Minima in Two-Layer ReLU Networks [9.695960412426672]
正方形損失に対する2層ReLUニューラルネットワークの適合に関する最適化問題について検討する。
ニューロンを追加することで、対称的な刺激性のミニマをサドルに変えることができる。
また、損失関数の対称性構造から生じるある種の部分空間における降下方向の存在を証明した。
論文 参考訳(メタデータ) (2022-10-12T11:04:21Z) - On the Importance of Asymmetry for Siamese Representation Learning [53.86929387179092]
シームズネットワークは、2つの並列エンコーダと概念的に対称である。
ネットワーク内の2つのエンコーダを明確に区別することで,非対称性の重要性について検討する。
非対称設計による改善は、より長いトレーニングスケジュール、複数の他のフレームワーク、より新しいバックボーンに一般化されている。
論文 参考訳(メタデータ) (2022-04-01T17:57:24Z) - Exact solutions of interacting dissipative systems via weak symmetries [77.34726150561087]
我々は任意の強い相互作用や非線形性を持つクラスマルコフ散逸系(英語版)のリウヴィリアンを解析的に対角化する。
これにより、フルダイナミックスと散逸スペクトルの正確な記述が可能になる。
我々の手法は他の様々なシステムに適用でき、複雑な駆動散逸量子系の研究のための強力な新しいツールを提供することができる。
論文 参考訳(メタデータ) (2021-09-27T17:45:42Z) - Machine-learning hidden symmetries [0.0]
本稿では,新しい座標系にのみ現れる隠れ対称性を自動検出する手法を提案する。
その中心となる考え方は、ある偏微分方程式の違反として非対称性を定量化し、すべての可逆変換の空間上のそのような違反を数値的に最小化し、可逆ニューラルネットワークとしてパラメータ化することである。
論文 参考訳(メタデータ) (2021-09-20T17:55:02Z) - Noether's Learning Dynamics: The Role of Kinetic Symmetry Breaking in
Deep Learning [7.310043452300738]
性質上、対称性は規則性を支配し、対称性破壊はテクスチャをもたらす。
近年の実験では,損失関数の対称性が学習性能と密接に関連していることが示唆された。
学習則の対称性を損失関数に加えて考慮し,新しい設計原理として対称性の破れを提案する。
論文 参考訳(メタデータ) (2021-05-06T14:36:10Z) - A Symmetric Loss Perspective of Reliable Machine Learning [87.68601212686086]
平衡誤差率 (BER) の最小化において, 対称損失が破損ラベルからのロバストな分類をいかに生み出すかを検討する。
我々は、関連するキーワードからのみ学習したい問題において、AUC手法が自然言語処理にどのように役立つかを実証する。
論文 参考訳(メタデータ) (2021-01-05T06:25:47Z) - Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。
本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
論文 参考訳(メタデータ) (2020-09-05T02:25:23Z) - Finding Symmetry Breaking Order Parameters with Euclidean Neural
Networks [2.735801286587347]
我々は、対称性同変ニューラルネットワークがキュリーの原理を支持し、多くの対称性関連科学的な疑問を単純な最適化問題に表すのに使用できることを示した。
これらの特性を数学的に証明し、ユークリッド対称性同変ニューラルネットワークを訓練し、対称性を破る入力を学習し、正方形を長方形に変形させ、ペロブスカイトのオクタヘドラ傾斜パターンを生成する。
論文 参考訳(メタデータ) (2020-07-04T17:24:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。