論文の概要: Current Symmetry Group Equivariant Convolution Frameworks for Representation Learning
- arxiv url: http://arxiv.org/abs/2409.07327v1
- Date: Wed, 11 Sep 2024 15:07:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 14:13:20.283047
- Title: Current Symmetry Group Equivariant Convolution Frameworks for Representation Learning
- Title（参考訳）: 表現学習のための変分畳み込みフレームワークの現状
- Authors: Ramzan Basheer, Deepak Mishra,
- Abstract要約: ユークリッドの深層学習はしばしば、表現空間が不規則で複雑な位相で湾曲した実世界の信号に対処するのに不十分である。
我々は、対称性群同変深層学習モデルの重要性と、グラフや3次元形状、非ユークリッド空間における畳み込みのような操作の実現に焦点を当てる。
- 参考スコア（独自算出の注目度）: 5.802794302956837
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Euclidean deep learning is often inadequate for addressing real-world signals where the representation space is irregular and curved with complex topologies. Interpreting the geometric properties of such feature spaces has become paramount in obtaining robust and compact feature representations that remain unaffected by nontrivial geometric transformations, which vanilla CNNs cannot effectively handle. Recognizing rotation, translation, permutation, or scale symmetries can lead to equivariance properties in the learned representations. This has led to notable advancements in computer vision and machine learning tasks under the framework of geometric deep learning, as compared to their invariant counterparts. In this report, we emphasize the importance of symmetry group equivariant deep learning models and their realization of convolution-like operations on graphs, 3D shapes, and non-Euclidean spaces by leveraging group theory and symmetry. We categorize them as regular, steerable, and PDE-based convolutions and thoroughly examine the inherent symmetries of their input spaces and ensuing representations. We also outline the mathematical link between group convolutions or message aggregation operations and the concept of equivariance. The report also highlights various datasets, their application scopes, limitations, and insightful observations on future directions to serve as a valuable reference and stimulate further research in this emerging discipline.
- Abstract（参考訳）: ユークリッドの深層学習はしばしば、表現空間が不規則で複雑な位相で湾曲した実世界の信号に対処するのに不十分である。
このような特徴空間の幾何学的性質の解釈は、バニラCNNが効果的に扱えない非自明な幾何学的変換の影響を受けない頑健でコンパクトな特徴表現を得る上で、最重要である。
回転、翻訳、置換、スケール対称性の認識は、学習された表現の同値性につながる可能性がある。
これにより、幾何学的深層学習の枠組みの下で、コンピュータビジョンや機械学習タスクが、不変のものと比較して顕著に進歩した。
本稿では,グループ理論と対称性を活用することで,対称性群同変深層学習モデルの重要性と,グラフ,3次元形状,非ユークリッド空間における畳み込みのような操作の実現を強調した。
我々はこれらを正規で、ステアブルで、PDEベースの畳み込みとして分類し、それらの入力空間の固有の対称性とそれに続く表現を徹底的に検討する。
また、グループ畳み込みやメッセージ集約操作と等式の概念の数学的関係についても概説する。
レポートはまた、さまざまなデータセット、その適用範囲、制限、将来の方向性に関する洞察に富んだ観察に注目し、価値ある参照として役立ち、この新興分野におけるさらなる研究を促進する。
関連論文リスト
- Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。
相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。
第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
論文 参考訳（メタデータ） (2024-09-17T08:09:22Z) - Neural Isometries: Taming Transformations for Equivariant ML [8.203292895010748]
本稿では,観測空間を汎用潜在空間にマップする方法を学習する自動エンコーダフレームワークであるNeural Isometriesを紹介する。
トレーニング済みの潜伏空間で動作する単純なオフ・ザ・シェルフ同変ネットワークは、巧妙に設計された手作りのネットワークと同等の結果が得られることを示す。
論文 参考訳（メタデータ） (2024-05-29T17:24:25Z) - Oracle-Preserving Latent Flows [58.720142291102135]
我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。
対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。
この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
論文 参考訳（メタデータ） (2023-02-02T00:13:32Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳（メタデータ） (2023-01-13T16:25:25Z) - Equivariant Representation Learning via Class-Pose Decomposition [17.032782230538388]
データの対称性に同値な表現を学習するための一般的な方法を提案する。
コンポーネントは、それぞれ固有のデータクラスとポーズに意味的に対応します。
その結果,表現はデータの幾何を捉え,他の同変表現学習フレームワークよりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-07-07T06:55:52Z) - Learning Symmetric Embeddings for Equivariant World Models [9.781637768189158]
入力空間(例えば画像)を符号化する学習対称埋め込みネットワーク(SEN)を提案する。
このネットワークは、同変のタスクネットワークでエンドツーエンドにトレーニングして、明示的に対称な表現を学ぶことができる。
実験により、SENは複素対称性表現を持つデータへの同変ネットワークの適用を促進することを示した。
論文 参考訳（メタデータ） (2022-04-24T22:31:52Z) - Leveraging Equivariant Features for Absolute Pose Regression [9.30597356471664]
変換と回転の同変である畳み込みニューラルネットワークは,カメラの動きの表現を直接特徴空間に誘導することを示す。
次に、この幾何学的性質により、画像平面保存変換の全グループの下でトレーニングデータを暗黙的に増大させることができることを示す。
論文 参考訳（メタデータ） (2022-04-05T12:44:20Z) - Frame Averaging for Equivariant Shape Space Learning [85.42901997467754]
形状空間学習に対称性を組み込む自然な方法は、形状空間(エンコーダ)への写像と形状空間(デコーダ)からの写像が関連する対称性に同値であることを問うことである。
本稿では,2つのコントリビューションを導入することで,エンコーダとデコーダの等価性を組み込む枠組みを提案する。
論文 参考訳（メタデータ） (2021-12-03T06:41:19Z) - Geometric Algebra Attention Networks for Small Point Clouds [0.0]
物理科学における問題は、2次元または3次元空間における比較的小さな点集合を扱う。
これらの小点雲上での深層学習のための回転・置換同変アーキテクチャを提案する。
物理, 化学, 生物学に関連するサンプル問題を, モデルを用いて解くことにより, これらのアーキテクチャの有用性を実証する。
論文 参考訳（メタデータ） (2021-10-05T22:52:12Z) - Topographic VAEs learn Equivariant Capsules [84.33745072274942]
本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。
このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。
我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
論文 参考訳（メタデータ） (2021-09-03T09:25:57Z) - Inverse Learning of Symmetries [71.62109774068064]
2つの潜在部分空間からなるモデルで対称性変換を学ぶ。
我々のアプローチは、情報ボトルネックと連続的な相互情報正規化器の組み合わせに基づいています。
我々のモデルは, 人工的および分子的データセットにおける最先端の手法より優れている。
論文 参考訳（メタデータ） (2020-02-07T13:48:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。