論文の概要: Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data

• arxiv url: http://arxiv.org/abs/2002.12880v3
• Date: Thu, 24 Sep 2020 15:08:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 21:01:53.928775
• Title: Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data
• Title（参考訳）: 任意連続データ上のリー群等分散のための畳み込みニューラルネットワークの一般化
• Authors: Marc Finzi, Samuel Stanton, Pavel Izmailov, Andrew Gordon Wilson
• Abstract要約: 任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。 同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
• 参考スコア（独自算出の注目度）: 52.78581260260455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The translation equivariance of convolutional layers enables convolutional neural networks to generalize well on image problems. While translation equivariance provides a powerful inductive bias for images, we often additionally desire equivariance to other transformations, such as rotations, especially for non-image data. We propose a general method to construct a convolutional layer that is equivariant to transformations from any specified Lie group with a surjective exponential map. Incorporating equivariance to a new group requires implementing only the group exponential and logarithm maps, enabling rapid prototyping. Showcasing the simplicity and generality of our method, we apply the same model architecture to images, ball-and-stick molecular data, and Hamiltonian dynamical systems. For Hamiltonian systems, the equivariance of our models is especially impactful, leading to exact conservation of linear and angular momentum.
• Abstract（参考訳）: 畳み込み層の変換等価性により、畳み込みニューラルネットワークは画像問題に対してよく一般化できる。 翻訳等分散は画像に対して強力な帰納的バイアスを与えるが、回転などの他の変換、特に非画像データに対する等分散を求めることが多い。 本稿では,任意の特定のリー群から全射指数写像を持つ変換に同値な畳み込み層を構成する一般的な方法を提案する。 新しいグループに等価性を導入するには、グループ指数写像と対数写像のみを実装し、迅速なプロトタイピングを可能にする必要がある。 本手法の単純さと汎用性を示すため,画像,ボール・アンド・スティック分子データ,ハミルトン力学系に同じモデルアーキテクチャを適用した。 ハミルトン系の場合、我々のモデルの同値性は特に影響を受け、線形運動量と角運動量の正確な保存につながる。

関連論文リスト

• Symmetry Discovery for Different Data Types [52.2614860099811]
  等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。 本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。 我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
  論文  参考訳（メタデータ） (2024-10-13T13:39:39Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Beyond permutation equivariance in graph networks [1.713291434132985]
  我々は,n$-dimensions におけるユークリッド群に同値なグラフネットワークのための新しいアーキテクチャを提案する。 我々のモデルは、グラフネットワークを最も一般的な形で扱うように設計されており、特殊ケースとして特定の変種を含む。
  論文  参考訳（メタデータ） (2021-03-25T18:36:09Z)
• Group Equivariant Conditional Neural Processes [30.134634059773703]
  群同変条件ニューラルプロセス(EquivCNP)を提案する。 EquivCNPは1次元回帰タスクにおいて従来の条件付きニューラルプロセスに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2021-02-17T13:50:07Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• Learning Equivariant Representations [10.745691354609738]
  畳み込みニューラルネットワーク(CNN)はこの原理の成功例である。 対称性の群で定義される異なる変換に対する同変モデルを提案する。 これらのモデルはデータの対称性を利用して、サンプルとモデルの複雑さを減らし、一般化性能を向上させる。
  論文  参考訳（メタデータ） (2020-12-04T18:46:17Z)
• The general theory of permutation equivarant neural networks and higher order graph variational encoders [6.117371161379209]
  一般置換同変層の式を導出し、各層が列と列を同時に置換することで行列に作用する場合を含む。 このケースはグラフ学習や関係学習アプリケーションで自然に発生する。 2階グラフ変分エンコーダを提案し、同変生成モデルの潜在分布は交換可能である必要があることを示す。
  論文  参考訳（メタデータ） (2020-04-08T13:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。