論文の概要: Reducing SO(3) Convolutions to SO(2) for Efficient Equivariant GNNs
- arxiv url: http://arxiv.org/abs/2302.03655v2
- Date: Wed, 14 Jun 2023 14:07:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-17 02:15:11.121086
- Title: Reducing SO(3) Convolutions to SO(2) for Efficient Equivariant GNNs
- Title（参考訳）: 効率的な同変GNNのためのSO(3)のSO(2)への畳み込み
- Authors: Saro Passaro, C. Lawrence Zitnick
- Abstract要約: 等変畳み込みは高次テンソルを使用すると計算複雑性が著しく増加する。
大規模なOC-20データセットとOC-22データセットの最先端結果が得られる同変畳み込みに対する我々の新しいアプローチを利用したグラフニューラルネットワークを提案する。
- 参考スコア（独自算出の注目度）: 3.1618838742094457
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks that model 3D data, such as point clouds or atoms, are
typically desired to be $SO(3)$ equivariant, i.e., equivariant to 3D rotations.
Unfortunately equivariant convolutions, which are a fundamental operation for
equivariant networks, increase significantly in computational complexity as
higher-order tensors are used. In this paper, we address this issue by reducing
the $SO(3)$ convolutions or tensor products to mathematically equivalent
convolutions in $SO(2)$ . This is accomplished by aligning the node embeddings'
primary axis with the edge vectors, which sparsifies the tensor product and
reduces the computational complexity from $O(L^6)$ to $O(L^3)$, where $L$ is
the degree of the representation. We demonstrate the potential implications of
this improvement by proposing the Equivariant Spherical Channel Network (eSCN),
a graph neural network utilizing our novel approach to equivariant
convolutions, which achieves state-of-the-art results on the large-scale OC-20
and OC-22 datasets.
- Abstract（参考訳）: 点雲や原子などの3Dデータをモデル化するグラフニューラルネットワークは、通常、$SO(3)$等式、すなわち3Dローテーションに同変することを望んでいる。
残念ながら、同変ネットワークの基本的な操作である同変畳み込みは、高次テンソルを使用すると計算複雑性が大幅に増加する。
本稿では、$SO(3)$畳み込みあるいはテンソル積を$SO(2)$ の数学的に等価な畳み込みに還元することでこの問題に対処する。
これは、ノード埋め込みの一次軸をエッジベクトルに合わせることで達成され、これはテンソル積を分散させ、計算複雑性を$O(L^6)$から$O(L^3)$に減らし、$L$は表現の次数である。
本研究では,大規模oc-20およびoc-22データセットの最先端結果を実現する等変畳み込み法を用いて,グラフニューラルネットワークである等変球状チャネルネットワーク(escn)を提案することで,この改善の可能性を示す。
関連論文リスト
- Geometric Algebra Planes: Convex Implicit Neural Volumes [70.12234371845445]
GA-Planes はスパース低ランク係数と低分解能行列と等価であることを示す。
また,GA-Planeは既存の表現にも適用可能であることを示す。
論文 参考訳（メタデータ） (2024-11-20T18:21:58Z) - Enabling Efficient Equivariant Operations in the Fourier Basis via Gaunt Tensor Products [14.984349569810275]
そこで本研究では, テンソル積の複雑さを加速する体系的手法を提案する。
本稿では,効率的な同変演算を行うための新しい手法として機能するGaunt Productを紹介する。
Open Catalyst Projectと3BPAデータセットの実験では、効率の向上と性能向上の両面が示されている。
論文 参考訳（メタデータ） (2024-01-18T18:57:10Z) - Rethinking SO(3)-equivariance with Bilinear Tensor Networks [0.0]
我々は、偏差対称性の破れにより、SO$(2)$のベクトルおよび順序2テンソル表現のみに作用するネットワークの表現性を向上させることができることを示す。
本稿では, b-中間子崩壊から生じる粒子ジェットを, 圧倒的なQCD背景から識別しなくてはならない, テクスタイブタグと呼ばれる高エネルギー物理の重要な問題に対して, 本手法を実証する。
論文 参考訳（メタデータ） (2023-03-20T17:23:15Z) - Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。
群同変畳み込みは同変表現を得るための一般的なアプローチである。
本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-03-02T20:44:45Z) - Equivalence Between SE(3) Equivariant Networks via Steerable Kernels and
Group Convolution [90.67482899242093]
近年, 入力の回転と変換において等価な3次元データに対して, ニューラルネットワークを設計するための幅広い手法が提案されている。
両手法とその等価性を詳細に解析し,その2つの構成をマルチビュー畳み込みネットワークに関連付ける。
また、同値原理から新しいTFN非線形性を導出し、実用的なベンチマークデータセット上でテストする。
論文 参考訳（メタデータ） (2022-11-29T03:42:11Z) - Average-Case Complexity of Tensor Decomposition for Low-Degree
Polynomials [93.59919600451487]
多くの統計的推論タスクにおいて「統計計算ギャップ」が発生する。
1つの成分が他の成分よりもわずかに大きいランダムオーダー3分解モデルを考える。
テンソルエントリは$ll n3/2$のとき最大成分を正確に推定できるが、$rgg n3/2$のとき失敗する。
論文 参考訳（メタデータ） (2022-11-10T00:40:37Z) - 2D+3D facial expression recognition via embedded tensor manifold
regularization [16.98176664818354]
2D+3次元表情認識(FERETMR)のための埋め込みテンソル多様体正規化による新しい手法を提案する。
定常点の観点から一階最適条件を確立し、収束解析によるブロック座標降下(BCD)アルゴリズムを設計する。
BU-3DFEデータベースとBosphorusデータベースの数値計算結果から,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2022-01-29T06:11:00Z) - Orthogonal Graph Neural Networks [53.466187667936026]
グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。
より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。
本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
論文 参考訳（メタデータ） (2021-09-23T12:39:01Z) - Equivariant Point Network for 3D Point Cloud Analysis [17.689949017410836]
点雲解析のための実効的で実用的なSE(3)(3次元翻訳と回転)同変ネットワークを提案する。
まず,6次元の畳み込みを2つの分離可能な畳み込み作用素に分解する新しい枠組みであるSE(3)分離点畳み込みを提案する。
第2に,同変特徴の表現性を効果的に活用するアテンション層を導入する。
論文 参考訳（メタデータ） (2021-03-25T21:57:10Z) - Rotation-Invariant Autoencoders for Signals on Spheres [10.406659081400354]
球面画像に対する回転不変表現の教師なし学習の問題について検討する。
特に、$S2$と$SO(3)$の畳み込み層からなるオートエンコーダアーキテクチャを設計する。
複数のデータセットの実験は、クラスタリング、検索、分類アプリケーションにおける学習された表現の有用性を示す。
論文 参考訳（メタデータ） (2020-12-08T15:15:03Z) - Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。
以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
論文 参考訳（メタデータ） (2020-10-22T00:32:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。