論文の概要: Flash EQ-Linear: Accelerating Equivariant Linear Layers via Group-wise Discrete Fourier Transform
- arxiv url: http://arxiv.org/abs/2607.21271v2
- Date: Fri, 24 Jul 2026 07:27:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 14:08:31.004284
- Title: Flash EQ-Linear: Accelerating Equivariant Linear Layers via Group-wise Discrete Fourier Transform
- Title（参考訳）: Flash EQ-Linear: グループワイド離散フーリエ変換による等変線形層加速
- Abstract要約: 等変ネットワークは、ウェイトシェアリングを通じて構造的先行として幾何学的対称性を埋め込む。
既存の実装では、構造化された重みを高密度な行列に展開し、それらを一般的な高密度なカーネルにディスパッチする。
これは、同変ネットワークが3つの軸を同時に持つ非同変ネットワークを厳密に支配するのは、これが初めてである。
- 参考スコア（独自算出の注目度）: 65.89510337046077
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Equivariant networks embed geometric symmetries as structural priors through weight sharing, achieving remarkable parameter efficiency across vision tasks. However, this parameter efficiency does not translate into compute efficiency: existing implementations unroll the structured weights into dense matrices and dispatch them to generic dense kernels, so the FLOPs of an equivariant layer are no smaller than those of a non-equivariant counterpart. In this paper, we observe that the equivariant linear (EQ-Linear) layer---the most fundamental and frequently used module in modern equivariant architectures---is essentially a circular convolution along the group dimension composed with a linear transform along the channel dimension. Building on this observation, we propose Flash EQ-Linear, an exact acceleration algorithm that reduces the complexity from $\mathcal{O}(NDC)$ to $\mathcal{O}(NDC/T)$ by combining the Fourier convolution theorem along the group dimension with the conjugate symmetry of the real DFT. We further provide dedicated CUDA kernels for Flash EQ-Linear, covering both forward and backward passes and both FP32 and FP16 precision. At the operator level, Flash EQ-Linear achieves up to ${2\times}$ forward speedup over PyTorch's F.linear; at the network level, Flash EQ-ViT and Flash EQ-Swin achieve up to ${1.7\times}$ end-to-end speedup over both equivariant and non-equivariant baselines. To our knowledge, this is the first time equivariant networks strictly dominate their non-equivariant counterparts along all three axes simultaneously: accuracy, parameter efficiency, and inference speed.Code is available at https://github.com/zhongchenzhao/FlashEQLinear.
- Abstract（参考訳）: 等変ネットワークは、ウェイトシェアリングを通じて構造的前駆体として幾何学的対称性を埋め込み、視覚タスク全体で顕著なパラメータ効率を達成する。
しかし、このパラメータ効率は計算効率に変換されない: 既存の実装では、構造化された重みを高密度な行列に解き放ち、それらを一般の高密度なカーネルにディスパッチするので、同変層のFLOPは非同変層のものよりも小さくない。
本稿では、同変線型(EQ-Linear)層が、現代の同変アーキテクチャにおいて最も基本的で頻繁に使用されるモジュールであり、本質的には、チャネル次元に沿った線形変換からなる群次元に沿った円形の畳み込みであることを示す。
この観測に基づいて、実DFTの共役対称性と群次元に沿ったフーリエ畳み込み定理を組み合わせることで、複雑さを$\mathcal{O}(NDC)$から$\mathcal{O}(NDC/T)$に還元する正確な加速度アルゴリズムであるFlash EQ-Linearを提案する。
また、Flash EQ-Linear用の専用CUDAカーネルも提供し、前方と後方の両方のパスとFP32とFP16の精度をカバーしています。
演算子レベルでは、Flash EQ-LinearはPyTorchのF.linearよりも$${2\times}$forward speedup、ネットワークレベルではFlash EQ-ViTとFlash EQ-Swinは${1.7\times}$ end-to-end speedup over both equivariantとnon-equivariantのベースラインより$$${1.7\times}$ end-to-end speedupを達成する。
我々の知る限り、同変ネットワークは、正確性、パラメータ効率、推論速度の3つの軸を同時に持つ非同変ネットワークを厳密に支配するのは、これが初めてである。
関連論文リスト
- MeshFlow: Mesh Generation with Equivariant Flow Matching [99.07593100078935]
MeshFlowは三角形のメッシュを三角形のスープとして直接生成することを学ぶ。
三角形スープのキー対称性を尊重する等変最適輸送流マッチングモデルを採用する。
MeshFlowは、最先端の自動回帰メッシュジェネレータに匹敵するメッシュ品質を実現する。
論文 参考訳（メタデータ） (2026-06-22T15:35:30Z) - Fourier Neural Operators with rank-1 lattice points and hyperbolic cross [40.78425934640374]
emphFourier Neural operator(FNO)は、関数空間間のマッピングを学習するニューラルネットワークアーキテクチャである。
空間テンソル積格子をランク1格子点に置き換えることで、FNOの一般化誤差を改善することができることを示す。
ネットワークパラメータの削減、空間点の削減、トレーニングサンプルの削減により、より正確で効率的な近似を実現する。
論文 参考訳（メタデータ） (2026-06-07T22:55:39Z) - Fourier Feature Pyramids for Physics-Informed Neural Networks [47.75068288153803]
偏微分方程式(PDE)を解くための改良されたニューラルネットワークアーキテクチャを提案する。
Bandlimited Embedding with Interpolated Grid Network (特集:Bandlimited Embedding with Interpolated Grid Network)
我々は,PDEベンチマークにおいて,最先端のPINN手法よりも少ないパラメータを用いて,ベニグレットがはるかに精度の高い解を見つけることを示した。
論文 参考訳（メタデータ） (2026-05-22T23:12:56Z) - Scale-Invariant Neural Network Optimization: Norm Geometry and Heavy-Tailed Noise [12.977441534320041]
スペクトルノルムを持つスケール不変の1次法は$(minm, n-frac3p-2p-1)の呼び出しを必要とすることを示す。
我々は、標準がスペクトルであり、ヘシアンがリプシッツであるとき、バッチ法が$(minm, n-frac5p2p-2p-2)$のマッチング境界を達成することを証明した。
論文 参考訳（メタデータ） (2026-05-18T15:13:18Z) - Quantum-Inspired Algorithms beyond Unitary Circuits: the Laplace Transform [0.0]
量子インスパイアされたアルゴリズムは、古典的な最先端の手法よりも大幅にスピードアップできる。
離散ラプラス変換(非単項非周期変換)を計算するためのテンソル-ネットワークアプローチを導入する。
我々は最大$N=230$の入力データポイントと最大260$の出力データポイントのシミュレーションを実証し、ボンド次元が実行時と精度をどのように制御するかを定量化する。
論文 参考訳（メタデータ） (2026-01-25T07:19:56Z) - Flopping for FLOPs: Leveraging equivariance for computational efficiency [13.909111585519652]
本稿では,パラメータ毎に同じ数の浮動小数点演算(FLOP)を標準の非同変ネットワークに維持しながら対称性を維持する新しい同変ニューラルネットワークを提案する。
提案手法はFLOPと壁面時間の両方を削減し,効率よくスケーラブルな対称性を意識したアーキテクチャを実現するための実用的なソリューションを提供する。
論文 参考訳（メタデータ） (2025-02-07T18:53:03Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳（メタデータ） (2023-08-31T17:57:50Z) - Adaptive Fourier Neural Operators: Efficient Token Mixers for
Transformers [55.90468016961356]
本稿では,Fourierドメインのミキシングを学習する効率的なトークンミキサーを提案する。
AFNOは、演算子学習の原則的基礎に基づいている。
65kのシーケンスサイズを処理でき、他の効率的な自己認識機構より優れている。
論文 参考訳（メタデータ） (2021-11-24T05:44:31Z) - Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。
FAモデルが最大表現力を持つことを示す。
我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
論文 参考訳（メタデータ） (2021-10-07T11:05:23Z) - Nonlinearities in Steerable SO(2)-Equivariant CNNs [7.552100672006172]
我々は,SO(2)の表現に対する非線形性の影響を照らし出すために調和歪み解析を適用した。
我々は、非線形変換されたアクティベーションの表現を計算するための新しいFFTベースのアルゴリズムを開発した。
2Dおよび3Dデータを用いた実験では、連続対称性と正確な同値性において、精度の点で最先端と良好に比較できる結果が得られる。
論文 参考訳（メタデータ） (2021-09-14T17:53:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。