論文の概要: Lie Group Decompositions for Equivariant Neural Networks
- arxiv url: http://arxiv.org/abs/2310.11366v2
- Date: Wed, 10 Jul 2024 17:12:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-11 22:09:30.974983
- Title: Lie Group Decompositions for Equivariant Neural Networks
- Title（参考訳）: 等変ニューラルネットワークのためのリー群分解
- Authors: Mircea Mironenco, Patrick Forré,
- Abstract要約: コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。
我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性と分布外一般化能力を評価する。
- 参考スコア（独自算出の注目度）: 12.139222986297261
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Invariance and equivariance to geometrical transformations have proven to be very useful inductive biases when training (convolutional) neural network models, especially in the low-data regime. Much work has focused on the case where the symmetry group employed is compact or abelian, or both. Recent work has explored enlarging the class of transformations used to the case of Lie groups, principally through the use of their Lie algebra, as well as the group exponential and logarithm maps. The applicability of such methods is limited by the fact that depending on the group of interest $G$, the exponential map may not be surjective. Further limitations are encountered when $G$ is neither compact nor abelian. Using the structure and geometry of Lie groups and their homogeneous spaces, we present a framework by which it is possible to work with such groups primarily focusing on the groups $G = \text{GL}^{+}(n, \mathbb{R})$ and $G = \text{SL}(n, \mathbb{R})$, as well as their representation as affine transformations $\mathbb{R}^{n} \rtimes G$. Invariant integration as well as a global parametrization is realized by a decomposition into subgroups and submanifolds which can be handled individually. Under this framework, we show how convolution kernels can be parametrized to build models equivariant with respect to affine transformations. We evaluate the robustness and out-of-distribution generalisation capability of our model on the benchmark affine-invariant classification task, outperforming previous proposals.
- Abstract（参考訳）: 幾何変換に対する不変性と等価性は、特に低データ構造において、トレーニング(畳み込み)ニューラルネットワークモデルにおいて非常に有用な帰納的バイアスであることが証明されている。
多くの研究は、対称群がコンパクト群かアーベル群かその両方である場合に焦点を当てている。
最近の研究は、リー群の場合、主にリー代数(英語版)および群指数写像(英語版)および対数写像(英語版)を用いて、変換のクラスを拡大することを検討した。
そのような方法の適用性は、利子群 G$ に依存して指数写像が全射でないという事実によって制限される。
さらなる制限は、$G$がコンパクトでもアーベルでもないときに発生する。
リー群とその同次空間の構造と幾何学を用いて、主に群 $G = \text{GL}^{+}(n, \mathbb{R})$ と $G = \text{SL}(n, \mathbb{R})$ と、アフィン変換 $\mathbb{R}^{n} \rtimes G$ の表現に焦点をあてて、そのような群を扱うことができる枠組みを提示する。
不変積分と大域パラメトリゼーションは、個別に扱うことができる部分群と部分多様体への分解によって実現される。
この枠組みでは、コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。
我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性とアウト・オブ・ディストリビューションの一般化能力を評価し,従来の提案よりも優れていた。
関連論文リスト
- Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳（メタデータ） (2023-01-13T16:25:25Z) - Capacity of Group-invariant Linear Readouts from Equivariant
Representations: How Many Objects can be Linearly Classified Under All
Possible Views? [21.06669693699965]
分離可能な二コトミーの分数は群作用によって固定される空間の次元によって決定される。
この関係が、畳み込み、要素ワイド非線形性、大域的および局所的なプーリングなどの操作にどのように拡張されるかを示す。
論文 参考訳（メタデータ） (2021-10-14T15:46:53Z) - Commutative Lie Group VAE for Disentanglement Learning [96.32813624341833]
本研究では,データに表される因子の変動を同変的に反映する基盤構造を見いだすこととして,非絡み合い学習を考察する。
グループベースの非絡み合い学習を実現するために、Communative Lie Group VAEというシンプルなモデルが導入された。
実験により,本モデルでは,教師なしの非絡み合い表現を効果的に学習し,余分な制約を伴わずに最先端のパフォーマンスを達成できることが示されている。
論文 参考訳（メタデータ） (2021-06-07T07:03:14Z) - A Practical Method for Constructing Equivariant Multilayer Perceptrons
for Arbitrary Matrix Groups [115.58550697886987]
行列群の同変層を解くための完全一般的なアルゴリズムを提供する。
他作品からのソリューションを特殊ケースとして回収するだけでなく、これまで取り組んだことのない複数のグループと等価な多層パーセプトロンを構築します。
提案手法は, 粒子物理学および力学系への応用により, 非同変基底線より優れる。
論文 参考訳（メタデータ） (2021-04-19T17:21:54Z) - On the geometric and Riemannian structure of the spaces of group
equivariant non-expansive operators [0.0]
群同変非拡張作用素は、最近、トポロジカルデータ解析とディープラーニングの基本的な構成要素として提案されている。
群同変非拡大作用素の空間 $mathcalF$ がリーマン多様体の構造によってどのように与えられるかを示す。
また、検討された多様体において、代表群同変非拡大作用素の有限集合を選択する手順も記述する。
論文 参考訳（メタデータ） (2021-03-03T17:29:25Z) - Group Equivariant Conditional Neural Processes [30.134634059773703]
群同変条件ニューラルプロセス(EquivCNP)を提案する。
EquivCNPは1次元回帰タスクにおいて従来の条件付きニューラルプロセスに匹敵する性能を示す。
論文 参考訳（メタデータ） (2021-02-17T13:50:07Z) - LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。
我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。
任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
論文 参考訳（メタデータ） (2020-12-20T11:02:49Z) - Applying Lie Groups Approaches for Rigid Registration of Point Clouds [3.308743964406687]
リー群とリー代数を用いて、点雲で表される2つの曲面を最もよく登録する剛変換を求める。
いわゆる双対剛性登録は、本質的な二階配向テンソルを比較することで定式化することができる。
リー代数に配向テンソル場を埋め込む際に有望な結果を示す。
論文 参考訳（メタデータ） (2020-06-23T21:26:57Z) - Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。
提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
論文 参考訳（メタデータ） (2020-03-30T15:37:50Z) - Generalizing Convolutional Neural Networks for Equivariance to Lie
Groups on Arbitrary Continuous Data [52.78581260260455]
任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。
同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
論文 参考訳（メタデータ） (2020-02-25T17:40:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。