論文の概要: bispectrum: Selective $G$-Bispectra Made Practical
- arxiv url: http://arxiv.org/abs/2605.07270v1
- Date: Fri, 08 May 2026 05:35:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:38.824389
- Title: bispectrum: Selective $G$-Bispectra Made Practical
- Title(参考訳): Bispectrum:Selective $G$-Bispectra Made Practical
- Authors: Johan Mathe, Adele Myers, Simon Mataigne, Nina Miolane,
- Abstract要約: 7つの異なるグループアクションに対して選択的な$G$-bispectraを実装するオープンソースライブラリであるbispectrumを提示する。
3つの古典的ベンチマークデータセット上のディープラーニングアーキテクチャに層をプールするために$G$-bispectraを組み込むことの利点を評価する。
- 参考スコア(独自算出の注目度): 10.148766645678954
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many machine learning tasks are invariant under the action of a group $G$ of transformations: signal classification can be invariant under translations, image classification under 2D rotations, and spherical-image classification under 3D rotations. The $G$-bispectrum is a principled complete invariant of a signal (retaining all all signal's information up to the group action) with proven benefits in machine learning and as a pooling layer in deep networks. However, its deployment has been hampered by high computational cost and a patchwork of group-specific implementations. We present bispectrum, an open-source, fully unit-tested PyTorch library that implements selective $G$-bispectra for seven different group actions, as differentiable modules that can be directly incorporated into machine learning pipelines and deep learning architectures. For finite groups $G$, selectivity reduces the computational cost from $O(|G|^2)$ to $O(|G|)$. For planar rotations, we leverage the disk bispectrum. For spherical 3D rotations, we introduce an augmented selective bispectrum at band-limit $L$ which reduces the cost from $O(L^3)$ to $Θ(L^2)$ coefficients. We profile the entire library (for which we implemented various compute optimizations), showing that it delivers near-exact $G$-invariance with its selective $G$-bispectra computed in sub-millisecond time on GPU (up to commonly used bandlimits). We evaluate the benefits of incorporating $G$-bispectra as pooling layers into deep learning architectures on three classical benchmark datasets --comparing against norm pooling, gated pooling, Fourier-ELU pooling, max pooling, and (non-equivariant) data-augmented convolutional baselines. Results show that $G$-bispectra consistently outperform alternatives in the low-data, moderate-capacity regime.
- Abstract(参考訳): 多くの機械学習タスクは変換群$G$の作用の下で不変であり、信号分類は変換の下で不変、画像分類は2次元回転で、球面画像分類は3次元回転で不変である。
G$-bispectrumは、(グループアクションまですべての信号の情報を保持する)信号の原則化された完全な不変量であり、機械学習およびディープネットワークにおけるプール層として証明された利点がある。
しかし、その展開は高い計算コストとグループ固有の実装のパッチワークによって妨げられている。
オープンソースで完全に単体テストされたPyTorchライブラリであるBispectrumを,7つのグループアクションに対して選択可能な$G$-bispectraを実装した,マシンラーニングパイプラインやディープラーニングアーキテクチャに直接組み込むことのできる,差別化可能なモジュールとして紹介する。
有限群$G$の場合、選択性は計算コストを$O(|G|^2)$から$O(|G|)$に下げる。
平面回転にはディスクバイスペクトルを利用する。
球面3次元回転に対しては、帯域制限$L$で拡張選択双スペクトルを導入し、コストを$O(L^3)$から$O(L^2)$係数に削減する。
我々は、ライブラリ全体(様々な計算最適化を実装した)をプロファイルし、GPU上でミリ秒以下の時間で計算される選択的な$G$-bispectra(一般的に使用されるバンドリミットまで)とほぼ同等の$G$-invarianceを提供することを示した。
我々は、標準プーリング、ゲートプーリング、フーリエ-ELUプーリング、最大プーリング、および(不変ではない)データ拡張畳み込みベースラインと比較して、3つの古典的なベンチマークデータセットのディープラーニングアーキテクチャに、レイヤをプールするために$G$-bispectraを組み込むことの利点を評価する。
結果は、$G$-bispectraが低データ、中程度の容量のシステムにおいて、一貫して代替よりも優れていることを示している。
関連論文リスト
- Tensor Decomposition Networks for Fast Machine Learning Interatomic Potential Computations [48.46721044282335]
テンソル分解ネットワーク(TDN)は、計算処理の劇的な高速化と競合する性能を実現する。
1億5500万のDFT計算スナップショットを含む分子緩和データセットPubChemQCRのTDNを評価した。
その結果,TDNは計算処理の劇的な高速化と競合する性能を示した。
論文 参考訳(メタデータ) (2025-07-01T18:46:27Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳(メタデータ) (2025-05-19T07:32:56Z) - The Selective G-Bispectrum and its Inversion: Applications to G-Invariant Networks [3.8311785959108637]
我々は,$G$-Bispectrumをテキスト選択型$G$-Bispectrumに還元できることを示す。
ニューラルネットワークへの統合によって、従来のアプローチと比較して精度と堅牢性が向上することを示す。
論文 参考訳(メタデータ) (2024-07-10T13:35:04Z) - Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳(メタデータ) (2023-11-23T02:19:32Z) - A General Framework for Robust G-Invariance in G-Equivariant Networks [5.227502964814928]
群同変畳み込みニューラルネットワーク(G$-CNN)におけるロバストなグループ不変性を実現するための一般的な方法を提案する。
三重相関の完全性は、強い強靭性を持つ$G$-TC層を与える。
この手法の利点を可換群と非可換群の両方に示す。
論文 参考訳(メタデータ) (2023-10-28T02:27:34Z) - Efficiently Learning One-Hidden-Layer ReLU Networks via Schur
Polynomials [50.90125395570797]
正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。
本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
論文 参考訳(メタデータ) (2023-07-24T14:37:22Z) - Rotation-Invariant Autoencoders for Signals on Spheres [10.406659081400354]
球面画像に対する回転不変表現の教師なし学習の問題について検討する。
特に、$S2$と$SO(3)$の畳み込み層からなるオートエンコーダアーキテクチャを設計する。
複数のデータセットの実験は、クラスタリング、検索、分類アプリケーションにおける学習された表現の有用性を示す。
論文 参考訳(メタデータ) (2020-12-08T15:15:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。