論文の概要: Architectural Optimization over Subgroups for Equivariant Neural
Networks
- arxiv url: http://arxiv.org/abs/2210.05484v1
- Date: Tue, 11 Oct 2022 14:37:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 16:56:17.080735
- Title: Architectural Optimization over Subgroups for Equivariant Neural
Networks
- Title(参考訳): 同変ニューラルネットワークのサブグループに対するアーキテクチャ最適化
- Authors: Kaitlin Maile and Dennis G. Wilson and Patrick Forr\'e
- Abstract要約: 準同値緩和同型と$[G]$-mixed同変層を提案し、部分群上の同値制約で演算する。
進化的および微分可能なニューラルアーキテクチャ探索(NAS)アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Incorporating equivariance to symmetry groups as a constraint during neural
network training can improve performance and generalization for tasks
exhibiting those symmetries, but such symmetries are often not perfectly nor
explicitly present. This motivates algorithmically optimizing the architectural
constraints imposed by equivariance. We propose the equivariance relaxation
morphism, which preserves functionality while reparameterizing a group
equivariant layer to operate with equivariance constraints on a subgroup, as
well as the $[G]$-mixed equivariant layer, which mixes layers constrained to
different groups to enable within-layer equivariance optimization. We further
present evolutionary and differentiable neural architecture search (NAS)
algorithms that utilize these mechanisms respectively for equivariance-aware
architectural optimization. Experiments across a variety of datasets show the
benefit of dynamically constrained equivariance to find effective architectures
with approximate equivariance.
- Abstract(参考訳): ニューラルネットワークトレーニング中に対称性群への等式を制約として組み込むことは、それらの対称性を示すタスクのパフォーマンスと一般化を改善することができるが、そのような対称性は完全で、明確ではないことが多い。
これは、等式によって課されるアーキテクチャ制約をアルゴリズム的に最適化する動機である。
群同変層を部分群上の同変制約で操作するように再パラメータ化しながら機能を保ち、また異なる群に制約された層を混合して層内同変最適化を可能にする$[G]$-mixed同変層も提案する。
さらに、これらのメカニズムを等分散アーキテクチャ最適化にそれぞれ活用する進化的および微分可能なニューラルアーキテクチャ探索(NAS)アルゴリズムを提案する。
様々なデータセットにわたる実験は、近似等式を持つ効果的なアーキテクチャを見つけるために動的に制約された等値の利点を示す。
関連論文リスト
- Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。
対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。
私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文 参考訳(メタデータ) (2023-10-09T20:22:43Z) - Learning Probabilistic Symmetrization for Architecture Agnostic
Equivariance [17.69647580011895]
群対称性を持つ学習関数における同変アーキテクチャの限界を克服する新しい枠組みを提案する。
我々は、不変量や変圧器のような任意の基底モデルを使用し、それを与えられた群に同変するように対称性付けする。
実証実験は、調整された同変アーキテクチャに対する競争結果を示す。
論文 参考訳(メタデータ) (2023-06-05T13:40:54Z) - Optimization Dynamics of Equivariant and Augmented Neural Networks [3.706821920681978]
対称データに基づく多層パーセプトロンの最適化について検討する。
損失と非線形性に関する自然な仮定の下では、同変定常点の集合は2つの戦略に対して同一であることを示す。
論文 参考訳(メタデータ) (2023-03-23T17:26:12Z) - Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。
群同変畳み込みは同変表現を得るための一般的なアプローチである。
本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-03-02T20:44:45Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳(メタデータ) (2022-11-11T21:58:15Z) - Relaxing Equivariance Constraints with Non-stationary Continuous Filters [20.74154804898478]
提案したパラメータ化は、ニューラルネットワークの調整可能な対称性構造を可能にするビルディングブロックと考えることができる。
CIFAR-10 および CIFAR-100 画像分類タスクにおいて, ソフトな等式が試験精度の向上につながることを実験的に検証した。
論文 参考訳(メタデータ) (2022-04-14T18:08:36Z) - Improving the Sample-Complexity of Deep Classification Networks with
Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。
そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。
本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文 参考訳(メタデータ) (2022-02-08T16:16:11Z) - Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。
FAモデルが最大表現力を持つことを示す。
我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
論文 参考訳(メタデータ) (2021-10-07T11:05:23Z) - Group Equivariant Subsampling [60.53371517247382]
サブサンプリングは、プールやストライド畳み込みの形で畳み込みニューラルネットワーク(CNN)で使用される。
まず、正確な翻訳同変CNNを構築するために使用できる翻訳同変サブサンプリング/アップサンプリング層を導入する。
次に、これらの層を一般群への変換を超えて一般化し、したがって群同変部分サンプリング/アップサンプリングを提案する。
論文 参考訳(メタデータ) (2021-06-10T16:14:00Z) - Group Equivariant Conditional Neural Processes [30.134634059773703]
群同変条件ニューラルプロセス(EquivCNP)を提案する。
EquivCNPは1次元回帰タスクにおいて従来の条件付きニューラルプロセスに匹敵する性能を示す。
論文 参考訳(メタデータ) (2021-02-17T13:50:07Z) - Universal Approximation Theorem for Equivariant Maps by Group CNNs [14.810452619505137]
本稿では,CNNによる同値写像の普遍近似定理の統一手法を提案する。
その大きな利点として、非コンパクト群に対する無限次元空間間の非線形同変写像を扱うことができる。
論文 参考訳(メタデータ) (2020-12-27T07:09:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。