論文の概要: Steerable Partial Differential Operators for Equivariant Neural Networks

• arxiv url: http://arxiv.org/abs/2106.10163v1
• Date: Fri, 18 Jun 2021 14:58:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-21 14:16:31.060856
• Title: Steerable Partial Differential Operators for Equivariant Neural Networks
• Title（参考訳）: 等変ニューラルネットワークのための安定部分微分演算子
• Authors: Erik Jenner, Maurice Weiler
• Abstract要約: ディープラーニングでは、等変写像は通常、核との畳み込みによって定義されるが、物理学では偏微分作用素(PDO)である。 古典的畳み込みと微分作用素を統一するシュワルツ分布に基づく同変写像の枠組みを開発する。
• 参考スコア（独自算出の注目度）: 9.036025934093965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work in equivariant deep learning bears strong similarities to physics. Fields over a base space are fundamental entities in both subjects, as are equivariant maps between these fields. In deep learning, however, these maps are usually defined by convolutions with a kernel, whereas they are partial differential operators (PDOs) in physics. Developing the theory of equivariant PDOs in the context of deep learning could bring these subjects even closer together and lead to a stronger flow of ideas. In this work, we derive a $G$-steerability constraint that completely characterizes when a PDO between feature vector fields is equivariant, for arbitrary symmetry groups $G$. We then fully solve this constraint for several important groups. We use our solutions as equivariant drop-in replacements for convolutional layers and benchmark them in that role. Finally, we develop a framework for equivariant maps based on Schwartz distributions that unifies classical convolutions and differential operators and gives insight about the relation between the two.
• Abstract（参考訳）: 最近の同変深層学習の研究は物理学と強い類似性を持っている。 基底空間上の体は、これらの体の間の同変写像と同様に、両方の体の基本体である。 しかし深層学習では、これらの写像は通常核との畳み込みによって定義されるが、物理学では偏微分作用素 (pdos) である。 深層学習の文脈における同変PDOの理論の発展は、これらの主題をさらに密集させ、より強力なアイデアの流れをもたらす可能性がある。 本研究では、任意の対称性群に対して、特徴ベクトル場間のPDOが同変であるときに完全に特徴付ける$G$-ステアビリティ制約を導出する。 そして、この制約をいくつかの重要な群に対して完全に解決する。 畳み込み層の等価なドロップイン置換としてソリューションを使用し、その役割でそれらをベンチマークします。 最後に、古典的畳み込みと微分作用素を統合するシュワルツ分布に基づく同変写像の枠組みを開発し、両者の関係について洞察を与える。

関連論文リスト

• Decomposition of Equivariant Maps via Invariant Maps: Application to Universal Approximation under Symmetry [3.0518581575184225]
  我々は、群 $G$ に関する不変写像と同変写像の関係の理論を発展させる。 我々は、この理論をグループ対称性を持つディープニューラルネットワークの文脈で活用し、それらのメカニズムに関する新たな洞察を得る。
  論文  参考訳（メタデータ） (2024-09-25T13:27:41Z)
• Equivariant Manifold Neural ODEs and Differential Invariants [1.6073704837297416]
  我々は同変多様体ニューラル常微分方程式(NODE)の明らかな幾何学的枠組みを開発する。 私たちは、対称データに対するモデリング能力を解析するためにそれを使用します。
  論文  参考訳（メタデータ） (2024-01-25T12:23:22Z)
• Lie Group Decompositions for Equivariant Neural Networks [12.139222986297261]
  コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。 我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性と分布外一般化能力を評価する。
  論文  参考訳（メタデータ） (2023-10-17T16:04:33Z)
• Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
  群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。 自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。 標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
  論文  参考訳（メタデータ） (2023-03-08T08:11:26Z)
• Equivalence Between SE(3) Equivariant Networks via Steerable Kernels and Group Convolution [90.67482899242093]
  近年, 入力の回転と変換において等価な3次元データに対して, ニューラルネットワークを設計するための幅広い手法が提案されている。 両手法とその等価性を詳細に解析し,その2つの構成をマルチビュー畳み込みネットワークに関連付ける。 また、同値原理から新しいTFN非線形性を導出し、実用的なベンチマークデータセット上でテストする。
  論文  参考訳（メタデータ） (2022-11-29T03:42:11Z)
• Coordinate Independent Convolutional Networks -- Isometry and Gauge Equivariant Convolutions on Riemannian Manifolds [70.32518963244466]
  平坦空間と比較して大きな複雑さは、コンボリューション核が多様体にどのようなアライメントを適用するべきかが不明確であることである。 コーディネート化の特定の選択は、ネットワークの推論に影響を与えるべきではない、と我々は主張する。 座標独立と重み共有の同時要求は、ネットワーク上の同変要求をもたらす。
  論文  参考訳（メタデータ） (2021-06-10T19:54:19Z)
• Group Equivariant Subsampling [60.53371517247382]
  サブサンプリングは、プールやストライド畳み込みの形で畳み込みニューラルネットワーク(CNN)で使用される。 まず、正確な翻訳同変CNNを構築するために使用できる翻訳同変サブサンプリング/アップサンプリング層を導入する。 次に、これらの層を一般群への変換を超えて一般化し、したがって群同変部分サンプリング/アップサンプリングを提案する。
  論文  参考訳（メタデータ） (2021-06-10T16:14:00Z)
• Geometric Deep Learning and Equivariant Neural Networks [0.9381376621526817]
  幾何学的深層学習の数学的基礎を調査し,群同変とゲージ同変ニューラルネットワークに着目した。 任意の多様体 $mathcalM$ 上のゲージ同変畳み込みニューラルネットワークを、構造群 $K$ の主バンドルと、関連するベクトルバンドルの切断間の同変写像を用いて開発する。 セマンティックセグメンテーションやオブジェクト検出ネットワークなど,このフォーマリズムのいくつかの応用を解析する。
  論文  参考訳（メタデータ） (2021-05-28T15:41:52Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• PDO-eConvs: Partial Differential Operator Based Equivariant Convolutions [71.60219086238254]
  我々は、畳み込みと偏微分作用素(PDO)の接続から問題に対処する。 実装において、ほぼ同変の畳み込み(PDO-eConvs)を導出し、PDOの数値スキームを用いてシステムを識別する。 回転したMNISTと自然画像分類の実験により、PDO-eConvsは競合的に機能するが、より効率的にパラメータを使用することが示された。
  論文  参考訳（メタデータ） (2020-07-20T18:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。