論文の概要: Remove Symmetries to Control Model Expressivity

• arxiv url: http://arxiv.org/abs/2408.15495v1
• Date: Wed, 28 Aug 2024 02:45:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 17:22:57.328001
• Title: Remove Symmetries to Control Model Expressivity
• Title（参考訳）: モデル表現性制御のための対称性の除去
• Authors: Liu Ziyin, Yizhou Xu, Isaac Chuang,
• Abstract要約: 損失関数に対称性が存在する場合、モデルが「崩壊」と呼ばれる低容量状態に閉じ込められる可能性があることを示す。 ニューラルネットワークにおける対称性誘起低容量状態のほとんどをすべて除去する,単純で理論的に正当化されたアルゴリズムであるsyreを提案する。
• 参考スコア（独自算出の注目度）: 0.30723404270319693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When symmetry is present in the loss function, the model is likely to be trapped in a low-capacity state that is sometimes known as a "collapse." Being trapped in these low-capacity states can be a major obstacle to training across many scenarios where deep learning technology is applied. We first prove two concrete mechanisms through which symmetries lead to reduced capacities and ignored features during training. We then propose a simple and theoretically justified algorithm, syre, to remove almost all symmetry-induced low-capacity states in neural networks. The proposed method is shown to improve the training of neural networks in scenarios when this type of entrapment is especially a concern. A remarkable merit of the proposed method is that it is model-agnostic and does not require any knowledge of the symmetry.
• Abstract（参考訳）: 損失関数に対称性が存在する場合、このモデルは「崩壊」と呼ばれる低容量状態に閉じ込められる可能性が高い。 これらの低容量状態に閉じ込められていることは、ディープラーニング技術を適用する多くのシナリオにおけるトレーニングの大きな障害になる可能性がある。 まず,2つの具体的メカニズムから,対称性が能力低下につながることを証明し,訓練中に特徴を無視する。 次に、ニューラルネットワークにおける対称性誘起低容量状態のほとんどをすべて除去する、単純で理論的に正当化されたアルゴリズムであるサイアを提案する。 提案手法は,このタイプの包摂が特に懸念されるシナリオにおいて,ニューラルネットワークのトレーニングを改善する。 提案手法の顕著な利点は、モデルに依存しず、対称性の知識を必要としないことである。

関連論文リスト

• Symmetry-guided gradient descent for quantum neural networks [5.170906880400192]
  対称性の制約を簡潔な数学的形式に定式化する。 コスト関数に制約を適用する2つの方法を設計します。 我々は対称性誘導勾配降下法(SGGD)と呼ぶ。
  論文  参考訳（メタデータ） (2024-04-09T08:19:33Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Symmetry Induces Structure and Constraint of Learning [0.0]
  機械学習モデルの学習行動に影響を及ぼすか、決定しないかにかかわらず、損失関数対称性の重要性を明らかにする。 ディープラーニングにおけるミラー対称性の一般的な例としては、再スケーリング、回転、置換対称性がある。 ニューラルネットワークにおける可塑性の喪失や様々な崩壊現象などの興味深い現象を理論的枠組みで説明できることを示す。
  論文  参考訳（メタデータ） (2023-09-29T02:21:31Z)
• Addressing Imperfect Symmetry: a Novel Symmetry-Learning Actor-Critic Extension [0.46040036610482665]
  適応対称性 (Adaptive Symmetry, ASL) $x2013$ は不完全対称性に対処するモデル最小化アクター批判拡張である。 ASLは対称性適合成分とモジュラー損失関数から構成され、学習されたポリシーに適応しながら全ての状態に共通な関係を強制する。 その結果, ASLは大きな摂動から回復し, 隠れ対称状態へ一般化できることがわかった。
  論文  参考訳（メタデータ） (2023-09-06T04:47:46Z)
• Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
  2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討 信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。 一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
  論文  参考訳（メタデータ） (2022-02-14T07:45:51Z)
• Neural Network Training with Asymmetric Crosspoint Elements [1.0773924713784704]
  実用的な抵抗装置の非対称コンダクタンス変調は、従来のアルゴリズムで訓練されたネットワークの分類を著しく劣化させる。 ここでは、ハミルトニアン Descent という代替の完全並列トレーニングアルゴリズムを記述し、実験的に示す。 我々は、なぜデバイス非対称性が従来のトレーニングアルゴリズムと根本的に相容れないのか、新しいアプローチがどのようにそれを有用な機能として利用するのか、という批判的な直感を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:41:36Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• U(1) symmetric recurrent neural networks for quantum state reconstruction [0.4014524824655105]
  我々は、スピン1/2XYモデルの基底状態を再構成するために、リカレントニューラルネットワーク(RNN)を用いる。 RNNにU(1)対称性を付与すると学習効率が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-27T18:00:01Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。