論文の概要: Frame Averaging for Invariant and Equivariant Network Design

• arxiv url: http://arxiv.org/abs/2110.03336v1
• Date: Thu, 7 Oct 2021 11:05:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 16:03:00.229050
• Title: Frame Averaging for Invariant and Equivariant Network Design
• Title（参考訳）: invariant and equivariant network designのためのフレーム平均化
• Authors: Omri Puny, Matan Atzmon, Heli Ben-Hamu, Edward J. Smith, Ishan Misra, Aditya Grover, Yaron Lipman
• Abstract要約: フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
• 参考スコア（独自算出の注目度）: 50.87023773850824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many machine learning tasks involve learning functions that are known to be invariant or equivariant to certain symmetries of the input data. However, it is often challenging to design neural network architectures that respect these symmetries while being expressive and computationally efficient. For example, Euclidean motion invariant/equivariant graph or point cloud neural networks. We introduce Frame Averaging (FA), a general purpose and systematic framework for adapting known (backbone) architectures to become invariant or equivariant to new symmetry types. Our framework builds on the well known group averaging operator that guarantees invariance or equivariance but is intractable. In contrast, we observe that for many important classes of symmetries, this operator can be replaced with an averaging operator over a small subset of the group elements, called a frame. We show that averaging over a frame guarantees exact invariance or equivariance while often being much simpler to compute than averaging over the entire group. Furthermore, we prove that FA-based models have maximal expressive power in a broad setting and in general preserve the expressive power of their backbone architectures. Using frame averaging, we propose a new class of universal Graph Neural Networks (GNNs), universal Euclidean motion invariant point cloud networks, and Euclidean motion invariant Message Passing (MP) GNNs. We demonstrate the practical effectiveness of FA on several applications including point cloud normal estimation, beyond $2$-WL graph separation, and $n$-body dynamics prediction, achieving state-of-the-art results in all of these benchmarks.
• Abstract（参考訳）: 多くの機械学習タスクは、入力データの特定の対称性に不変または同変であることが知られている学習関数を含む。 しかし、これらの対称性を尊重し、表現的かつ計算的に効率的であるニューラルネットワークアーキテクチャを設計することはしばしば困難である。 例えば、ユークリッド運動不変/等変グラフや点雲ニューラルネットワークなどである。 フレーム平均化(fa)は既知の(バックボーン)アーキテクチャを新しい対称性型に不変あるいは同変に適応するための汎用的かつ体系的なフレームワークである。 我々のフレームワークは、不変性や同値性を保証するが難解な、よく知られたグループ平均化演算子に基づいている。 対照的に、多くの重要な対称性のクラスにおいて、この作用素は、フレームと呼ばれる群要素の小さな部分集合上の平均演算子に置き換えられる。 フレーム上の平均化は、グループ全体の平均化よりも計算がずっと簡単であると同時に、正確な不変性や同値性を保証する。 さらに,faモデルが広い範囲において最大表現力を有し,一般にバックボーンアーキテクチャの表現力を保持することを証明した。 フレーム平均化を用いて、新しいユニバーサルグラフニューラルネットワーク(GNN)、ユニバーサルユークリッド運動不変点ネットワーク、およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。 本稿では,ポイントクラウドの正規化,2ドル/WLグラフ分離,および$n$body-body dynamics予測など,いくつかのアプリケーションにおけるFAの実用的有効性を示す。

関連論文リスト

• Relaxing Continuous Constraints of Equivariant Graph Neural Networks for Physical Dynamics Learning [39.25135680793105]
  離散同変グラフニューラルネットワーク(DEGNN)を提案する。 具体的には、幾何学的特徴を置換不変な埋め込みに変換することによって、このような離散同変メッセージパッシングを構築することができることを示す。 DEGNNはデータ効率が良く、少ないデータで学習でき、観測不能な向きなどのシナリオをまたいで一般化できることを示す。
  論文  参考訳（メタデータ） (2024-06-24T03:37:51Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Similarity Equivariant Graph Neural Networks for Homogenization of Metamaterials [3.6443770850509423]
  ソフトで多孔質なメカニカルメタマテリアルは、ソフトロボティクス、音の低減、バイオメディシンに重要な応用をもたらすパターン変換を示す。 我々は、代理モデルとして機能するために好意的にスケールする機械学習ベースのアプローチを開発する。 このネットワークは、対称性の少ないグラフニューラルネットワークよりも正確で、データ効率が高いことを示す。
  論文  参考訳（メタデータ） (2024-04-26T12:30:32Z)
• FAENet: Frame Averaging Equivariant GNN for Materials Modeling [123.19473575281357]
  データ変換による任意のモデルE(3)-同変や不変化を実現するために,フレームアラグリング(SFA)に依存したフレキシブルなフレームワークを導入する。 本手法の有効性を理論的および実験的に証明し, 材料モデリングにおける精度と計算スケーラビリティを実証する。
  論文  参考訳（メタデータ） (2023-04-28T21:48:31Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Equivariance versus Augmentation for Spherical Images [0.7388859384645262]
  球面画像に適用した畳み込みニューラルネットワーク(CNN)における回転同値の役割を解析する。 我々は、S2CNNとして知られるグループ同変ネットワークと、データ増大量で訓練された標準非同変CNNの性能を比較した。
  論文  参考訳（メタデータ） (2022-02-08T16:49:30Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Generalization capabilities of neural networks in lattice applications [0.0]
  翻訳等変ニューラルネットワークを用いた非同変ニューラルネットワークの利点について検討する。 我々の最良の同変アーキテクチャは、その非同変アーキテクチャよりも大幅に性能を向上し、一般化できることが示される。
  論文  参考訳（メタデータ） (2021-12-23T11:48:06Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Training or Architecture? How to Incorporate Invariance in Neural Networks [14.162739081163444]
  本稿では,グループ行動に関して,ネットワークアーキテクチャを確実に不変化する手法を提案する。 簡単に言えば、実際のネットワークにデータを送る前に、可能なトランスフォーメーションを“無効化”するつもりです。 このような手法の特性を解析し、等変ネットワークに拡張し、その利点を頑健さと計算効率の両面からいくつかの数値例で示す。
  論文  参考訳（メタデータ） (2021-06-18T10:31:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。