論文の概要: Optimization Dynamics of Equivariant and Augmented Neural Networks
- arxiv url: http://arxiv.org/abs/2303.13458v2
- Date: Thu, 21 Sep 2023 18:18:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-25 19:16:26.756438
- Title: Optimization Dynamics of Equivariant and Augmented Neural Networks
- Title(参考訳): 等価および拡張ニューラルネットワークの最適化ダイナミクス
- Authors: Axel Flinth and Fredrik Ohlsson
- Abstract要約: 対称データに基づく多層パーセプトロンの最適化について検討する。
損失と非線形性に関する自然な仮定の下では、同変定常点の集合は2つの戦略に対して同一であることを示す。
- 参考スコア(独自算出の注目度): 3.706821920681978
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We investigate the optimization of multilayer perceptrons on symmetric data.
We compare the strategy of constraining the architecture to be equivariant to
that of using augmentation. We show that, under natural assumptions on the loss
and non-linearities, the sets of equivariant stationary points are identical
for the two strategies, and that the set of equivariant layers is invariant
under the gradient flow for augmented models. Finally, we show that stationary
points may be unstable for augmented training although they are stable for the
equivariant models.
- Abstract(参考訳): 対称データに基づく多層パーセプトロンの最適化について検討する。
我々は、アーキテクチャの制約戦略を、拡張の使用戦略と同等に扱う戦略と比較する。
損失と非線形性に関する自然な仮定の下では、同変定常点の集合は2つの戦略と同一であり、同変層の集合は拡張モデルの勾配流れの下で不変であることを示した。
最後に,同変モデルでは安定ではあるが,拡張トレーニングでは定常点が不安定であることを示す。
関連論文リスト
- Symmetry Breaking and Equivariant Neural Networks [17.51364577113718]
我々は「緩和された同注入」という新しい概念を導入する。
我々は、この緩和を同変多層パーセプトロン(E-MLP)に組み込む方法を示す。
対称性の破れの関連性は、様々な応用領域で議論される。
論文 参考訳(メタデータ) (2023-12-14T15:06:48Z) - Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。
対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。
私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文 参考訳(メタデータ) (2023-10-09T20:22:43Z) - Using and Abusing Equivariance [10.70891251559827]
群同変畳み込みニューラルネットワークは, サブサンプリングを用いて, 対称性に等しくなることを学習する。
ネットワークの入力次元を1ピクセル程度に変化させることで、一般的に使われているアーキテクチャが正確には同値ではなく、ほぼ同値となるのに十分であることを示す。
論文 参考訳(メタデータ) (2023-08-22T09:49:26Z) - Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。
群同変畳み込みは同変表現を得るための一般的なアプローチである。
本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-03-02T20:44:45Z) - Architectural Optimization over Subgroups for Equivariant Neural
Networks [0.0]
準同値緩和同型と$[G]$-mixed同変層を提案し、部分群上の同値制約で演算する。
進化的および微分可能なニューラルアーキテクチャ探索(NAS)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-10-11T14:37:29Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳(メタデータ) (2021-10-26T14:26:25Z) - Learning Equivariant Energy Based Models with Equivariant Stein
Variational Gradient Descent [80.73580820014242]
本稿では,確率モデルに対称性を組み込むことにより,確率密度の効率的なサンプリングと学習の問題に焦点をあてる。
まず、等変シュタイン変分勾配Descentアルゴリズムを導入する。これは、対称性を持つ密度からサンプリングするスタインの同一性に基づく同変サンプリング法である。
我々はエネルギーベースモデルのトレーニングを改善し、スケールアップする新しい方法を提案する。
論文 参考訳(メタデータ) (2021-06-15T01:35:17Z) - Group Equivariant Subsampling [60.53371517247382]
サブサンプリングは、プールやストライド畳み込みの形で畳み込みニューラルネットワーク(CNN)で使用される。
まず、正確な翻訳同変CNNを構築するために使用できる翻訳同変サブサンプリング/アップサンプリング層を導入する。
次に、これらの層を一般群への変換を超えて一般化し、したがって群同変部分サンプリング/アップサンプリングを提案する。
論文 参考訳(メタデータ) (2021-06-10T16:14:00Z) - Symmetry-driven graph neural networks [1.713291434132985]
ノード座標に影響を及ぼすいくつかの変換に同値なグラフネットワークアーキテクチャを2つ導入する。
我々はこれらの機能を$n$次元の幾何学的オブジェクトからなる合成データセット上で実証する。
論文 参考訳(メタデータ) (2021-05-28T18:54:12Z) - Beyond permutation equivariance in graph networks [1.713291434132985]
我々は,n$-dimensions におけるユークリッド群に同値なグラフネットワークのための新しいアーキテクチャを提案する。
我々のモデルは、グラフネットワークを最も一般的な形で扱うように設計されており、特殊ケースとして特定の変種を含む。
論文 参考訳(メタデータ) (2021-03-25T18:36:09Z) - Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。
画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文 参考訳(メタデータ) (2020-10-22T17:18:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。