論文の概要: LieTransformer: Equivariant self-attention for Lie Groups

• arxiv url: http://arxiv.org/abs/2012.10885v3
• Date: Thu, 8 Apr 2021 16:19:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-01 04:46:25.445226
• Title: LieTransformer: Equivariant self-attention for Lie Groups
• Title（参考訳）: LieTransformer: リー群に対する同変自己アテンション
• Authors: Michael Hutchinson, Charline Le Lan, Sheheryar Zaidi, Emilien Dupont, Yee Whye Teh, Hyunjik Kim
• Abstract要約: 群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
• 参考スコア（独自算出の注目度）: 49.9625160479096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Group equivariant neural networks are used as building blocks of group invariant neural networks, which have been shown to improve generalisation performance and data efficiency through principled parameter sharing. Such works have mostly focused on group equivariant convolutions, building on the result that group equivariant linear maps are necessarily convolutions. In this work, we extend the scope of the literature to self-attention, that is emerging as a prominent building block of deep learning models. We propose the LieTransformer, an architecture composed of LieSelfAttention layers that are equivariant to arbitrary Lie groups and their discrete subgroups. We demonstrate the generality of our approach by showing experimental results that are competitive to baseline methods on a wide range of tasks: shape counting on point clouds, molecular property regression and modelling particle trajectories under Hamiltonian dynamics.
• Abstract（参考訳）: グループ同変ニューラルネットワークはグループ不変ニューラルネットワークの構成要素として用いられ、原則付きパラメータ共有による一般化性能とデータ効率の向上が示されている。 このような研究は主に群同変線型写像が必ずしも畳み込みであることを示す結果に基づいて、群同変線型写像に焦点が当てられている。 本研究は,ディープラーニングモデルの顕著な構築ブロックとして現れつつある,文学の範囲を自己意識に拡張するものである。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。 本手法の一般性は, 点雲上の形状計数, 分子特性の回帰, ハミルトン力学下での粒子軌道のモデル化など, 幅広いタスクにおいて, ベースライン法と競合する実験結果を示すことによって示される。

関連論文リスト

• Lie Group Decompositions for Equivariant Neural Networks [12.139222986297261]
  コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。 我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性と分布外一般化能力を評価する。
  論文  参考訳（メタデータ） (2023-10-17T16:04:33Z)
• A General Framework for Equivariant Neural Networks on Reductive Lie Groups [2.0769531810371307]
  還元リー群は、高エネルギー物理学、量子力学、量子色力学、分子動力学、コンピュータビジョン、イメージングなど、科学分野において重要な役割を担っている。 任意の簡約リー群 G の有限次元表現を尊重できる一般同変ニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-05-31T18:09:37Z)
• Unified Fourier-based Kernel and Nonlinearity Design for Equivariant Networks on Homogeneous Spaces [52.424621227687894]
  等質空間上の群同変ネットワークに対する統一的枠組みを導入する。 昇降した特徴場のフーリエ係数の空間性を利用する。 安定化部分群におけるフーリエ係数としての特徴を取り扱う他の方法が、我々のアクティベーションの特別な場合であることを示す。
  論文  参考訳（メタデータ） (2022-06-16T17:59:01Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Commutative Lie Group VAE for Disentanglement Learning [96.32813624341833]
  本研究では,データに表される因子の変動を同変的に反映する基盤構造を見いだすこととして,非絡み合い学習を考察する。 グループベースの非絡み合い学習を実現するために、Communative Lie Group VAEというシンプルなモデルが導入された。 実験により,本モデルでは,教師なしの非絡み合い表現を効果的に学習し,余分な制約を伴わずに最先端のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-06-07T07:03:14Z)
• A Practical Method for Constructing Equivariant Multilayer Perceptrons for Arbitrary Matrix Groups [115.58550697886987]
  行列群の同変層を解くための完全一般的なアルゴリズムを提供する。 他作品からのソリューションを特殊ケースとして回収するだけでなく、これまで取り組んだことのない複数のグループと等価な多層パーセプトロンを構築します。 提案手法は, 粒子物理学および力学系への応用により, 非同変基底線より優れる。
  論文  参考訳（メタデータ） (2021-04-19T17:21:54Z)
• Group Equivariant Conditional Neural Processes [30.134634059773703]
  群同変条件ニューラルプロセス(EquivCNP)を提案する。 EquivCNPは1次元回帰タスクにおいて従来の条件付きニューラルプロセスに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2021-02-17T13:50:07Z)
• Learning Irreducible Representations of Noncommutative Lie Groups [3.1727619150610837]
  最近の研究は、2Dや3D回転のような連続対称性群と等価なニューラルネットワークを構築している。 回転や翻訳を超えた等分散のフロンティア応用によって動機付けられた2つの貢献を示す。
  論文  参考訳（メタデータ） (2020-06-01T05:14:29Z)
• Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data [52.78581260260455]
  任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。 同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
  論文  参考訳（メタデータ） (2020-02-25T17:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。