論文の概要: Frame Averaging for Invariant and Equivariant Network Design
- arxiv url: http://arxiv.org/abs/2110.03336v1
- Date: Thu, 7 Oct 2021 11:05:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 16:03:00.229050
- Title: Frame Averaging for Invariant and Equivariant Network Design
- Title(参考訳): invariant and equivariant network designのためのフレーム平均化
- Authors: Omri Puny, Matan Atzmon, Heli Ben-Hamu, Edward J. Smith, Ishan Misra,
Aditya Grover, Yaron Lipman
- Abstract要約: フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。
FAモデルが最大表現力を持つことを示す。
我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
- 参考スコア(独自算出の注目度): 50.87023773850824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many machine learning tasks involve learning functions that are known to be
invariant or equivariant to certain symmetries of the input data. However, it
is often challenging to design neural network architectures that respect these
symmetries while being expressive and computationally efficient. For example,
Euclidean motion invariant/equivariant graph or point cloud neural networks. We
introduce Frame Averaging (FA), a general purpose and systematic framework for
adapting known (backbone) architectures to become invariant or equivariant to
new symmetry types. Our framework builds on the well known group averaging
operator that guarantees invariance or equivariance but is intractable. In
contrast, we observe that for many important classes of symmetries, this
operator can be replaced with an averaging operator over a small subset of the
group elements, called a frame. We show that averaging over a frame guarantees
exact invariance or equivariance while often being much simpler to compute than
averaging over the entire group. Furthermore, we prove that FA-based models
have maximal expressive power in a broad setting and in general preserve the
expressive power of their backbone architectures. Using frame averaging, we
propose a new class of universal Graph Neural Networks (GNNs), universal
Euclidean motion invariant point cloud networks, and Euclidean motion invariant
Message Passing (MP) GNNs. We demonstrate the practical effectiveness of FA on
several applications including point cloud normal estimation, beyond $2$-WL
graph separation, and $n$-body dynamics prediction, achieving state-of-the-art
results in all of these benchmarks.
- Abstract(参考訳): 多くの機械学習タスクは、入力データの特定の対称性に不変または同変であることが知られている学習関数を含む。
しかし、これらの対称性を尊重し、表現的かつ計算的に効率的であるニューラルネットワークアーキテクチャを設計することはしばしば困難である。
例えば、ユークリッド運動不変/等変グラフや点雲ニューラルネットワークなどである。
フレーム平均化(fa)は既知の(バックボーン)アーキテクチャを新しい対称性型に不変あるいは同変に適応するための汎用的かつ体系的なフレームワークである。
我々のフレームワークは、不変性や同値性を保証するが難解な、よく知られたグループ平均化演算子に基づいている。
対照的に、多くの重要な対称性のクラスにおいて、この作用素は、フレームと呼ばれる群要素の小さな部分集合上の平均演算子に置き換えられる。
フレーム上の平均化は、グループ全体の平均化よりも計算がずっと簡単であると同時に、正確な不変性や同値性を保証する。
さらに,faモデルが広い範囲において最大表現力を有し,一般にバックボーンアーキテクチャの表現力を保持することを証明した。
フレーム平均化を用いて、新しいユニバーサルグラフニューラルネットワーク(GNN)、ユニバーサルユークリッド運動不変点ネットワーク、およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
本稿では,ポイントクラウドの正規化,2ドル/WLグラフ分離,および$n$body-body dynamics予測など,いくつかのアプリケーションにおけるFAの実用的有効性を示す。
関連論文リスト
- Neural approximation of Wasserstein distance via a universal
architecture for symmetric and factorwise group invariant functions [6.994580267603235]
まず,SFGI関数を近似する汎用ニューラルネットワークアーキテクチャを提案する。
本論文の主な貢献は、この一般的なニューラルネットワークとスケッチのアイデアを組み合わせて、特定かつ効率的なニューラルネットワークを開発することである。
我々の研究は、対称関数の普遍近似を伴う幾何学的問題に対するスケッチのアイデアの興味深い統合を提供する。
論文 参考訳(メタデータ) (2023-08-01T04:11:19Z) - Learning Probabilistic Symmetrization for Architecture Agnostic
Equivariance [17.69647580011895]
群対称性を持つ学習関数における同変アーキテクチャの限界を克服する新しい枠組みを提案する。
我々は、不変量や変圧器のような任意の基底モデルを使用し、それを与えられた群に同変するように対称性付けする。
実証実験は、調整された同変アーキテクチャに対する競争結果を示す。
論文 参考訳(メタデータ) (2023-06-05T13:40:54Z) - FAENet: Frame Averaging Equivariant GNN for Materials Modeling [123.19473575281357]
データ変換による任意のモデルE(3)-同変や不変化を実現するために,フレームアラグリング(SFA)に依存したフレキシブルなフレームワークを導入する。
本手法の有効性を理論的および実験的に証明し, 材料モデリングにおける精度と計算スケーラビリティを実証する。
論文 参考訳(メタデータ) (2023-04-28T21:48:31Z) - Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。
群同変畳み込みは同変表現を得るための一般的なアプローチである。
本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-03-02T20:44:45Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳(メタデータ) (2022-11-11T21:58:15Z) - Equivariance versus Augmentation for Spherical Images [0.7388859384645262]
球面画像に適用した畳み込みニューラルネットワーク(CNN)における回転同値の役割を解析する。
我々は、S2CNNとして知られるグループ同変ネットワークと、データ増大量で訓練された標準非同変CNNの性能を比較した。
論文 参考訳(メタデータ) (2022-02-08T16:49:30Z) - Improving the Sample-Complexity of Deep Classification Networks with
Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。
そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。
本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文 参考訳(メタデータ) (2022-02-08T16:16:11Z) - Generalization capabilities of neural networks in lattice applications [0.0]
翻訳等変ニューラルネットワークを用いた非同変ニューラルネットワークの利点について検討する。
我々の最良の同変アーキテクチャは、その非同変アーキテクチャよりも大幅に性能を向上し、一般化できることが示される。
論文 参考訳(メタデータ) (2021-12-23T11:48:06Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳(メタデータ) (2021-10-26T14:26:25Z) - Training or Architecture? How to Incorporate Invariance in Neural
Networks [14.162739081163444]
本稿では,グループ行動に関して,ネットワークアーキテクチャを確実に不変化する手法を提案する。
簡単に言えば、実際のネットワークにデータを送る前に、可能なトランスフォーメーションを“無効化”するつもりです。
このような手法の特性を解析し、等変ネットワークに拡張し、その利点を頑健さと計算効率の両面からいくつかの数値例で示す。
論文 参考訳(メタデータ) (2021-06-18T10:31:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。