論文の概要: Sobek: Streaming Equivariant Tensor Product Convolutions
- arxiv url: http://arxiv.org/abs/2607.18074v1
- Date: Mon, 20 Jul 2026 15:43:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.686115
- Title: Sobek: Streaming Equivariant Tensor Product Convolutions
- Title(参考訳): Sobek: 平等なテンソルプロダクトの進化をストリーミングする
- Abstract要約: エッジスケールのテンソル積ワークスペースは、同変畳み込みそのものではなく、従来のスケジュールの特性であることを示す。
生成されたCUDAバックエンドであるSobekでこの定式化を実装し、エッジスケーリングのレシエーションと様々な特徴構造で評価する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Equivariant graph neural networks repeatedly apply edge-conditioned tensor-product convolutions over graph edges. Conventional implementations materialize edge-specific weights, messages, and adjoints, causing tensor-product workspace and memory traffic to grow rapidly with graph size and operator width. This limits feasible workloads and can prevent larger problems from fully utilizing the GPU. We show that these edge-sized intermediates are artifacts of the execution schedule, not requirements of the equivariant operator. By reassociating radial projection, spherical-harmonic coupling, and graph aggregation, edge-local products can be consumed directly into bounded receiver-side state. The resulting streaming formulation preserves fully connected multiplicity mixing and extends through forward, backward, and double backward. We implement this formulation in Sobek, a generated-CUDA backend, and evaluate it across edge-scaling regimes and varied feature structures. Across two operator families and all three differentiation orders, Sobek is faster in all 75 capacity-matched comparisons, with speedups ranging from $1.2\times$ to $49.7\times$, and reduces peak allocated memory by up to 99\%. It also executes workloads up to two orders of magnitude beyond OpenEquivariance's capacity while retaining near-peak throughput. These results show that edge-scaled tensor-product workspace is a property of the conventional schedule, not of equivariant convolution itself.
- Abstract(参考訳): 等変グラフニューラルネットワークは、エッジ条件付きテンソル積畳み込みをグラフエッジ上で繰り返し適用する。
従来の実装ではエッジ固有の重み、メッセージ、アジョイントが具体化されており、テンソル積のワークスペースとメモリトラフィックはグラフのサイズと演算子幅によって急速に増大する。
これにより、実行可能なワークロードが制限され、大きな問題がGPUを完全に活用するのを防ぐことができる。
これらのエッジサイズの中間体は、同変作用素の要件ではなく、実行スケジュールの成果物であることを示す。
放射射影、球-調和結合、グラフアグリゲーションを再結合することにより、エッジ局所積を直接有界受信側状態に消費することができる。
結果として得られるストリーミングの定式化は、完全に連結された多重度混合を保ち、前方、後方、後方に延びる。
生成されたCUDAバックエンドであるSobekでこの定式化を実装し、エッジスケーリングのレシエーションと様々な特徴構造で評価する。
2つの演算子ファミリーと3つの微分順序で、Sobekは75のキャパシティマッチングの比較を高速化し、1.2\times$から49.7\times$までスピードアップし、ピーク割り当てメモリを最大99\%削減した。
また、ほぼピークスループットを維持しながら、OpenEquivarianceのキャパシティを超える2桁のワークロードを実行する。
これらの結果は、エッジスケールのテンソル積ワークスペースが、同変畳み込みそのものではなく、従来のスケジュールの特性であることを示している。
関連論文リスト
- E2Former-V2: On-the-Fly Equivariant Attention with Linear Activation Memory [13.451231889715542]
Equivariant Graph Neural Networks (EGNN) は3次元原子論システムのモデリングに広く利用されている。
textbfE2Former-V2は,代数的空間性とハードウェア対応の実行を統合するスケーラブルなアーキテクチャである。
E2Former-V2は、推論を加速しながら、同等の予測性能を維持している。
論文 参考訳(メタデータ) (2026-01-23T10:20:08Z) - Tensor Decomposition Networks for Fast Machine Learning Interatomic Potential Computations [48.46721044282335]
テンソル分解ネットワーク(TDN)は、計算処理の劇的な高速化と競合する性能を実現する。
1億5500万のDFT計算スナップショットを含む分子緩和データセットPubChemQCRのTDNを評価した。
その結果,TDNは計算処理の劇的な高速化と競合する性能を示した。
論文 参考訳(メタデータ) (2025-07-01T18:46:27Z) - An Efficient Sparse Kernel Generator for O(3)-Equivariant Deep Networks [0.5737287537823071]
回転同変グラフニューラルネットワークは、空間深層学習タスクにおける技術性能の状態を導出する。
クレーブシュ=ゴルドンテンソル積(Clebsch-Gordon tensor product, CG)は、2つの高次特徴ベクトルと高構造スパーステンソルを交換して高密度出力ベクトルを生成するカーネルである。
我々は、CGテンソル製品用のGPUスパースカーネルジェネレータを導入し、既存のオープンソース実装やクローズドソース実装よりも大幅に高速化する。
論文 参考訳(メタデータ) (2025-01-23T08:20:47Z) - Geometric Algebra Planes: Convex Implicit Neural Volumes [70.12234371845445]
GA-Planes はスパース低ランク係数と低分解能行列と等価であることを示す。
また,GA-Planeは既存の表現にも適用可能であることを示す。
論文 参考訳(メタデータ) (2024-11-20T18:21:58Z) - Scalable Graph Compressed Convolutions [68.85227170390864]
ユークリッド畳み込みのための入力グラフのキャリブレーションに置換を適用する微分可能手法を提案する。
グラフキャリブレーションに基づいて,階層型グラフ表現学習のための圧縮畳み込みネットワーク(CoCN)を提案する。
論文 参考訳(メタデータ) (2024-07-26T03:14:13Z) - Convolutions and More as Einsum: A Tensor Network Perspective with Advances for Second-Order Methods [2.8645507575980074]
我々はそれらをテンソルネットワーク(TN)として見ることで畳み込みを単純化する
TN はダイアグラムを描画し、微分のような関数変換を実行するようにそれらを操作し、それらを固有値で効率的に評価することで、基礎となるテンソル乗法を推論することができる。
我々のTN実装は、標準実装のメモリオーバーヘッドをなくしながら、最大4.5倍のKFAC変異を加速し、近似バックプロパゲーションのための新しいハードウェア効率の良いドロップアウトを可能にする。
論文 参考訳(メタデータ) (2023-07-05T13:19:41Z) - Reducing SO(3) Convolutions to SO(2) for Efficient Equivariant GNNs [3.1618838742094457]
等変畳み込みは高次テンソルを使用すると計算複雑性が著しく増加する。
大規模なOC-20データセットとOC-22データセットの最先端結果が得られる同変畳み込みに対する我々の新しいアプローチを利用したグラフニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2023-02-07T18:16:13Z) - Low-Rank Tensor Function Representation for Multi-Dimensional Data
Recovery [52.21846313876592]
低ランクテンソル関数表現(LRTFR)は、無限解像度でメッシュグリッドを超えてデータを連続的に表現することができる。
テンソル関数に対する2つの基本的な概念、すなわちテンソル関数ランクとローランクテンソル関数分解を開発する。
提案手法は,最先端手法と比較して,提案手法の優越性と汎用性を裏付けるものである。
論文 参考訳(メタデータ) (2022-12-01T04:00:38Z) - VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。
textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
論文 参考訳(メタデータ) (2021-05-04T04:10:48Z) - Permute, Quantize, and Fine-tune: Efficient Compression of Neural
Networks [70.0243910593064]
ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。
本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。
次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
論文 参考訳(メタデータ) (2020-10-29T15:47:26Z) - Approximation with Tensor Networks. Part II: Approximation Rates for
Smoothness Classes [0.0]
滑らか度クラスから関数のテンソルネットワーク(TN)による近似について検討する。
結果として得られるツールは、フィードフォワードニューラルネットワークとして解釈できる。
任意のベソフ関数は最適あるいはほぼ最適な速度で近似できることを示す。
論文 参考訳(メタデータ) (2020-06-30T21:57:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。