論文の概要: G-RepsNet: A Fast and General Construction of Equivariant Networks for
Arbitrary Matrix Groups
- arxiv url: http://arxiv.org/abs/2402.15413v1
- Date: Fri, 23 Feb 2024 16:19:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 14:03:11.688459
- Title: G-RepsNet: A Fast and General Construction of Equivariant Networks for
Arbitrary Matrix Groups
- Title（参考訳）: G-RepsNet:任意行列群に対する同変ネットワークの高速かつ一般構築
- Authors: Sourya Basu, Suhas Lohit, Matthew Brand
- Abstract要約: グループ同変ネットワークは、幅広いディープラーニングタスクにおいて有用である。
本稿では,グループ表現ネットワーク(G-RepsNets)について紹介する。
G-RepsNetはG-FNO (Helwig et al., 2023) とEGNN (Satorras et al., 2023) にそれぞれN体予測とPDEの解について競合することを示す。
- 参考スコア（独自算出の注目度）: 8.24167511378417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Group equivariance is a strong inductive bias useful in a wide range of deep
learning tasks. However, constructing efficient equivariant networks for
general groups and domains is difficult. Recent work by Finzi et al. (2021)
directly solves the equivariance constraint for arbitrary matrix groups to
obtain equivariant MLPs (EMLPs). But this method does not scale well and
scaling is crucial in deep learning. Here, we introduce Group Representation
Networks (G-RepsNets), a lightweight equivariant network for arbitrary matrix
groups with features represented using tensor polynomials. The key intuition
for our design is that using tensor representations in the hidden layers of a
neural network along with simple inexpensive tensor operations can lead to
expressive universal equivariant networks. We find G-RepsNet to be competitive
to EMLP on several tasks with group symmetries such as O(5), O(1, 3), and O(3)
with scalars, vectors, and second-order tensors as data types. On image
classification tasks, we find that G-RepsNet using second-order representations
is competitive and often even outperforms sophisticated state-of-the-art
equivariant models such as GCNNs (Cohen & Welling, 2016a) and E(2)-CNNs (Weiler
& Cesa, 2019). To further illustrate the generality of our approach, we show
that G-RepsNet is competitive to G-FNO (Helwig et al., 2023) and EGNN (Satorras
et al., 2021) on N-body predictions and solving PDEs, respectively, while being
efficient.
- Abstract（参考訳）: グループ同分散は、幅広いディープラーニングタスクで有用な強い帰納的バイアスである。
しかし、一般群と領域に対する効率的な同変ネットワークの構築は困難である。
Finzi et al. (2021) による最近の研究は、任意の行列群に対する等式制約を直接解き、同変 MLP (EMLP) を得る。
しかし、この方法はうまくスケールせず、ディープラーニングではスケーリングが不可欠です。
本稿では、テンソル多項式を用いて表現される特徴を持つ任意の行列群に対する軽量同変ネットワークであるグループ表現ネットワーク(G-RepsNets)を紹介する。
我々の設計における重要な直観は、ニューラルネットワークの隠れた層におけるテンソル表現と単純な安価なテンソル演算が表現可能な普遍的同変ネットワークに繋がる可能性があることである。
g-repsnet は o(5), o(1, 3), o(3) などの群対称性を持つ複数のタスクでemlp と競合し、スカラー、ベクトル、二階テンソルをデータ型とする。
画像分類タスクにおいて、二階表現を用いたG-RepsNetは競争力があり、GCNN(Cohen & Welling, 2016a)やE(2)-CNN(Weiler & Cesa, 2019)のような最先端の同変モデルよりも優れています。
さらに,本手法の汎用性を示すために,g-repsnet は n-body 予測と pdes の解法において g-fno (helwig et al., 2023) と egnn (satorras et al., 2021) と競合することを示した。
関連論文リスト
- Learnable Commutative Monoids for Graph Neural Networks [0.0]
グラフニューラルネットワーク(GNN)は集約関数の選択に非常に敏感である。
繰り返しアグリゲータを備えたGNNは、最先端の置換不変アグリゲータと競合することを示す。
本稿では,学習可能な,可換な,連想的なバイナリ演算子を構築するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2022-12-16T15:43:41Z) - Equivariant Transduction through Invariant Alignment [71.45263447328374]
グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。
我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。
また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
論文 参考訳（メタデータ） (2022-09-22T11:19:45Z) - A General Framework For Proving The Equivariant Strong Lottery Ticket
Hypothesis [15.376680573592997]
現代のニューラルネットワークは、単なる翻訳対称性以上のものを組み込むことができる。
我々は、Strong Lottery Ticket hypothesis (SLTH) を群$G$の作用を保存する関数に一般化する。
オーバーパラメータ化$textE(2)$-steerable CNNとメッセージパッシングGNNによって、我々の理論を証明します。
論文 参考訳（メタデータ） (2022-06-09T04:40:18Z) - Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。
SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。
その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
論文 参考訳（メタデータ） (2021-12-15T09:50:25Z) - Exploiting Redundancy: Separable Group Convolutional Networks on Lie
Groups [14.029933823101084]
群畳み込みニューラルネットワーク(G-CNN)はパラメータ効率とモデルの精度を向上させることが示されている。
本研究では,正規G-CNNによって学習された表現の性質について検討し,グループ畳み込みカーネルにおけるパラメータ冗長性を示す。
部分群とチャネル次元で分離可能な畳み込みカーネルを導入する。
論文 参考訳（メタデータ） (2021-10-25T15:56:53Z) - Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。
FAモデルが最大表現力を持つことを示す。
我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
論文 参考訳（メタデータ） (2021-10-07T11:05:23Z) - A Practical Method for Constructing Equivariant Multilayer Perceptrons
for Arbitrary Matrix Groups [115.58550697886987]
行列群の同変層を解くための完全一般的なアルゴリズムを提供する。
他作品からのソリューションを特殊ケースとして回収するだけでなく、これまで取り組んだことのない複数のグループと等価な多層パーセプトロンを構築します。
提案手法は, 粒子物理学および力学系への応用により, 非同変基底線より優れる。
論文 参考訳（メタデータ） (2021-04-19T17:21:54Z) - Group Equivariant Neural Architecture Search via Group Decomposition and
Reinforcement Learning [17.291131923335918]
我々は、同値ニューラルネットワークの文脈において、新しい群論的結果を証明する。
また、計算複雑性を大幅に改善する同変ネットワークを構築するアルゴリズムを設計する。
我々は、性能を最大化するグループ同変ネットワークの探索に深層Q-ラーニングを用いる。
論文 参考訳（メタデータ） (2021-04-10T19:37:25Z) - Permutation-equivariant and Proximity-aware Graph Neural Networks with
Stochastic Message Passing [88.30867628592112]
グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。
置換等価性と近接認識性は、GNNにとって非常に望ましい2つの重要な特性である。
既存のGNNは、主にメッセージパッシング機構に基づいており、同時に2つの特性を保存できないことを示す。
ノードの近さを保つため,既存のGNNをノード表現で拡張する。
論文 参考訳（メタデータ） (2020-09-05T16:46:56Z) - Towards Deeper Graph Neural Networks with Differentiable Group
Normalization [61.20639338417576]
グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。
オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。
2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
論文 参考訳（メタデータ） (2020-06-12T07:18:02Z) - Theoretical Aspects of Group Equivariant Neural Networks [9.449391486456209]
群同変ニューラルネットワークはここ数年で研究され、理論的および実践的な観点から興味深い。
彼らは群表現論、非可換調和解析、微分幾何学の概念を利用する。
実際には、サンプルやモデルの複雑さを減らすことが示されており、特に任意の回転のような入力変換が存在する困難なタスクでは顕著である。
論文 参考訳（メタデータ） (2020-04-10T17:57:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。