論文の概要: The Price of Freedom: Exploring Expressivity and Runtime Tradeoffs in Equivariant Tensor Products

• arxiv url: http://arxiv.org/abs/2506.13523v1
• Date: Mon, 16 Jun 2025 14:15:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:48.685729
• Title: The Price of Freedom: Exploring Expressivity and Runtime Tradeoffs in Equivariant Tensor Products
• Title（参考訳）: 自由の価格:等式テンソル製品における表現性と実行時のトレードオフを探る
• Authors: YuQing Xie, Ameya Daigavane, Mit Kotak, Tess Smidt,
• Abstract要約: E(3)$-equivariantのニューラルネットワークは、幅広い3Dモデリングタスクで成功している。 本研究では,多数のテンソル積演算を慎重に系統的に解析する。 理論的ランタイム保証は経験的性能と大きく異なる可能性がある。
• 参考スコア（独自算出の注目度）: 0.6005053595985627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: $E(3)$-equivariant neural networks have demonstrated success across a wide range of 3D modelling tasks. A fundamental operation in these networks is the tensor product, which interacts two geometric features in an equivariant manner to create new features. Due to the high computational complexity of the tensor product, significant effort has been invested to optimize the runtime of this operation. For example, Luo et al. (2024) recently proposed the Gaunt tensor product (GTP) which promises a significant speedup. In this work, we provide a careful, systematic analysis of a number of tensor product operations. In particular, we emphasize that different tensor products are not performing the same operation. The reported speedups typically come at the cost of expressivity. We introduce measures of expressivity and interactability to characterize these differences. In addition, we realized the original implementation of GTP can be greatly simplified by directly using a spherical grid at no cost in asymptotic runtime. This spherical grid approach is faster on our benchmarks and in actual training of the MACE interatomic potential by 30\%. Finally, we provide the first systematic microbenchmarks of the various tensor product operations. We find that the theoretical runtime guarantees can differ wildly from empirical performance, demonstrating the need for careful application-specific benchmarking. Code is available at \href{https://github.com/atomicarchitects/PriceofFreedom}{https://github.com/atomicarchitects/PriceofFreedom}
• Abstract（参考訳）: $E(3)$-equivariantのニューラルネットワークは、幅広い3Dモデリングタスクで成功している。 これらのネットワークの基本的な操作はテンソル積であり、2つの幾何学的特徴を同変的に相互作用して新しい特徴を生成する。 テンソル積の計算複雑性が高いため、この操作のランタイムを最適化するために多大な労力が費やされている。 例えば、Luo et al (2024) は先日、ガウントテンソル積 (GTP) を提案した。 本研究では,多数のテンソル積演算を慎重に系統的に解析する。 特に、異なるテンソル積が同じ操作をしていないことを強調する。 報告されたスピードアップは通常、表現力の犠牲になる。 これらの違いを特徴付けるために,表現性と相互作用性の尺度を導入する。 さらに,GTPの当初の実装は,漸近的ランタイムにおいてコストを伴わずに球形グリッドを直接使用することにより,大幅に単純化できることに気付いた。 この球面格子のアプローチは、我々のベンチマークや、MACE原子間ポテンシャルの実際のトレーニングにおいて、30倍高速である。 最後に、様々なテンソル積演算の最初の体系的なマイクロベンチマークを提供する。 理論的ランタイム保証は経験的なパフォーマンスとは大きく異なり、注意深いアプリケーション固有のベンチマークの必要性が示される。 コードは \href{https://github.com/atomicarchitects/PriceofFreedom}{https://github.com/atomicarchitects/PriceofFreedom} で公開されている。

関連論文リスト

• An Efficient Sparse Kernel Generator for O(3)-Equivariant Deep Networks [0.5737287537823071]
  回転同変グラフニューラルネットワークは、空間深層学習タスクにおける技術性能の状態を導出する。 クレーブシュ=ゴルドンテンソル積(Clebsch-Gordon tensor product, CG)は、2つの高次特徴ベクトルと高構造スパーステンソルを交換して高密度出力ベクトルを生成するカーネルである。 我々は、CGテンソル製品用のGPUスパースカーネルジェネレータを導入し、既存のオープンソース実装やクローズドソース実装よりも大幅に高速化する。
  論文  参考訳（メタデータ） (2025-01-23T08:20:47Z)
• Multivector Neurons: Better and Faster O(n)-Equivariant Clifford Graph Neural Networks [17.716680490388306]
  本研究では,クリフォード・マルチベクタに基づく新しいメッセージパッシンググラフニューラルネットワーク(GNN)を試作する。 我々はNボディデータセットの最先端エラーを0.0035にプッシュし、最近の手法よりも8%改善した。
  論文  参考訳（メタデータ） (2024-06-06T13:17:44Z)
• Low-Rank Tensor Function Representation for Multi-Dimensional Data Recovery [52.21846313876592]
  低ランクテンソル関数表現(LRTFR)は、無限解像度でメッシュグリッドを超えてデータを連続的に表現することができる。 テンソル関数に対する2つの基本的な概念、すなわちテンソル関数ランクとローランクテンソル関数分解を開発する。 提案手法は,最先端手法と比較して,提案手法の優越性と汎用性を裏付けるものである。
  論文  参考訳（メタデータ） (2022-12-01T04:00:38Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• MTC: Multiresolution Tensor Completion from Partial and Coarse Observations [49.931849672492305]
  既存の完備化の定式化は、主に1つのテンソルからの部分的な観測に依存する。 この問題を解決するために,効率的なマルチレゾリューション・コンプリート・モデル(MTC)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T02:20:03Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。