論文の概要: Enabling Efficient Equivariant Operations in the Fourier Basis via Gaunt Tensor Products

• arxiv url: http://arxiv.org/abs/2401.10216v1
• Date: Thu, 18 Jan 2024 18:57:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 15:21:45.883404
• Title: Enabling Efficient Equivariant Operations in the Fourier Basis via Gaunt Tensor Products
• Title（参考訳）: ガウントテンソル生成物によるフーリエ基底の効率的な等価操作
• Authors: Shengjie Luo, Tianlang Chen, Aditi S. Krishnapriyan
• Abstract要約: そこで本研究では, テンソル積の複雑さを加速する体系的手法を提案する。 本稿では,効率的な同変演算を行うための新しい手法として機能するGaunt Productを紹介する。 Open Catalyst Projectと3BPAデータセットの実験では、効率の向上と性能向上の両面が示されている。
• 参考スコア（独自算出の注目度）: 16.84090726181652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developing equivariant neural networks for the E(3) group plays an important role in modeling 3D data across real-world applications. Enforcing this equivariance primarily involves the tensor products of irreducible representations (irreps). However, the computational complexity of such operations increases significantly as higher-order tensors are used. In this work, we propose a systematic approach to substantially accelerate the computation of the tensor products of irreps. We mathematically connect the commonly used Clebsch-Gordan coefficients to the Gaunt coefficients, which are integrals of products of three spherical harmonics. Through Gaunt coefficients, the tensor product of irreps becomes equivalent to the multiplication between spherical functions represented by spherical harmonics. This perspective further allows us to change the basis for the equivariant operations from spherical harmonics to a 2D Fourier basis. Consequently, the multiplication between spherical functions represented by a 2D Fourier basis can be efficiently computed via the convolution theorem and Fast Fourier Transforms. This transformation reduces the complexity of full tensor products of irreps from $\mathcal{O}(L^6)$ to $\mathcal{O}(L^3)$, where $L$ is the max degree of irreps. Leveraging this approach, we introduce the Gaunt Tensor Product, which serves as a new method to construct efficient equivariant operations across different model architectures. Our experiments on the Open Catalyst Project and 3BPA datasets demonstrate both the increased efficiency and improved performance of our approach.
• Abstract（参考訳）: E(3)グループのための同変ニューラルネットワークの開発は、現実世界のアプリケーション間での3Dデータのモデリングにおいて重要な役割を果たす。 この等分散を強制することは、主に既約表現(irrep)のテンソル積を含む。 しかし、そのような演算の計算複雑性は高次テンソルを使用するにつれて著しく増大する。 そこで本研究では,無数のテンソル積の計算を大幅に高速化する体系的手法を提案する。 我々は、よく用いられるクレブシュ・ゴルダン係数を、3つの球面調和系の積の積分であるガント係数に数学的に接続する。 ゴート係数を通じて、アーレップのテンソル積は球面調和で表される球関数の間の乗法と等価となる。 この観点からさらに、同変演算の基底を球面高調波から2次元フーリエ基底に変更することができる。 したがって、2次元フーリエ基底で表される球関数間の乗算は、畳み込み定理と高速フーリエ変換によって効率的に計算できる。 この変換は、イリップスの完全テンソル積の複雑さを$\mathcal{O}(L^6)$から$\mathcal{O}(L^3)$へ還元する。 このアプローチを取り入れたGaunt Tensor Productを導入し、異なるモデルアーキテクチャ間で効率的な同変演算を構築する新しい方法として機能する。 オープン触媒プロジェクトと3BPAデータセットに関する実験は、我々のアプローチの効率向上と性能向上を実証している。

関連論文リスト

• Kolmogorov-Arnold Transformer [72.88137795439407]
  Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。 C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。 これらの設計により、KATは従来のトランスフォーマーよりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:54:51Z)
• EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention [88.45459681677369]
  複素ベクトル注意を持つ新しい変圧器変圧器(EulerFormer)を提案する。 意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。 意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。
  論文  参考訳（メタデータ） (2024-03-26T14:18:43Z)
• Geometry-Informed Neural Operator for Large-Scale 3D PDEs [76.06115572844882]
  大規模偏微分方程式の解演算子を学習するために,幾何インフォームド・ニューラル演算子(GINO)を提案する。 我々はGINOを訓練し、わずか500点のデータポイントで車両表面の圧力を予測することに成功した。
  論文  参考訳（メタデータ） (2023-09-01T16:59:21Z)
• Reducing SO(3) Convolutions to SO(2) for Efficient Equivariant GNNs [3.1618838742094457]
  等変畳み込みは高次テンソルを使用すると計算複雑性が著しく増加する。 大規模なOC-20データセットとOC-22データセットの最先端結果が得られる同変畳み込みに対する我々の新しいアプローチを利用したグラフニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-02-07T18:16:13Z)
• Low-Rank Tensor Function Representation for Multi-Dimensional Data Recovery [52.21846313876592]
  低ランクテンソル関数表現(LRTFR)は、無限解像度でメッシュグリッドを超えてデータを連続的に表現することができる。 テンソル関数に対する2つの基本的な概念、すなわちテンソル関数ランクとローランクテンソル関数分解を開発する。 提案手法は,最先端手法と比較して,提案手法の優越性と汎用性を裏付けるものである。
  論文  参考訳（メタデータ） (2022-12-01T04:00:38Z)
• Unified Fourier-based Kernel and Nonlinearity Design for Equivariant Networks on Homogeneous Spaces [52.424621227687894]
  等質空間上の群同変ネットワークに対する統一的枠組みを導入する。 昇降した特徴場のフーリエ係数の空間性を利用する。 安定化部分群におけるフーリエ係数としての特徴を取り扱う他の方法が、我々のアクティベーションの特別な場合であることを示す。
  論文  参考訳（メタデータ） (2022-06-16T17:59:01Z)
• 2D+3D facial expression recognition via embedded tensor manifold regularization [16.98176664818354]
  2D+3次元表情認識(FERETMR)のための埋め込みテンソル多様体正規化による新しい手法を提案する。 定常点の観点から一階最適条件を確立し、収束解析によるブロック座標降下(BCD)アルゴリズムを設計する。 BU-3DFEデータベースとBosphorusデータベースの数値計算結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-01-29T06:11:00Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Nonlinearities in Steerable SO(2)-Equivariant CNNs [7.552100672006172]
  我々は,SO(2)の表現に対する非線形性の影響を照らし出すために調和歪み解析を適用した。 我々は、非線形変換されたアクティベーションの表現を計算するための新しいFFTベースのアルゴリズムを開発した。 2Dおよび3Dデータを用いた実験では、連続対称性と正確な同値性において、精度の点で最先端と良好に比較できる結果が得られる。
  論文  参考訳（メタデータ） (2021-09-14T17:53:45Z)
• Large-Scale Learning with Fourier Features and Tensor Decompositions [3.6930948691311007]
  決定論的フーリエ特徴のテンソル積構造を利用して、モデルパラメータを低ランクテンソル分解として表現することができる。 数値実験により、我々の低ランクテンソル法が対応する非パラメトリックモデルと同じ性能を得ることを示す。
  論文  参考訳（メタデータ） (2021-09-03T14:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。