論文の概要: Topographic VAEs learn Equivariant Capsules
- arxiv url: http://arxiv.org/abs/2109.01394v1
- Date: Fri, 3 Sep 2021 09:25:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-06 14:04:24.820479
- Title: Topographic VAEs learn Equivariant Capsules
- Title(参考訳): 地形VAEは等変カプセルを学習する
- Authors: T. Anderson Keller and Max Welling
- Abstract要約: 本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。
このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。
我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
- 参考スコア(独自算出の注目度): 84.33745072274942
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work we seek to bridge the concepts of topographic organization and
equivariance in neural networks. To accomplish this, we introduce the
Topographic VAE: a novel method for efficiently training deep generative models
with topographically organized latent variables. We show that such a model
indeed learns to organize its activations according to salient characteristics
such as digit class, width, and style on MNIST. Furthermore, through
topographic organization over time (i.e. temporal coherence), we demonstrate
how predefined latent space transformation operators can be encouraged for
observed transformed input sequences -- a primitive form of unsupervised
learned equivariance. We demonstrate that this model successfully learns sets
of approximately equivariant features (i.e. "capsules") directly from sequences
and achieves higher likelihood on correspondingly transforming test sequences.
Equivariance is verified quantitatively by measuring the approximate
commutativity of the inference network and the sequence transformations.
Finally, we demonstrate approximate equivariance to complex transformations,
expanding upon the capabilities of existing group equivariant neural networks.
- Abstract(参考訳): 本研究では、ニューラルネットワークにおける地形構造と等分散の概念を橋渡しする。
そこで本稿では, 深部生成モデルの学習を効率的に行うための新しい手法であるTopographic VAEを紹介する。
このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することができる。
さらに、時とともに地形組織を通して(すなわち)
時間コヒーレンス (temporal coherence) は、事前定義された潜在空間変換作用素が、非教師なし学習同分散の原始形式である観測された変換入力列に対してどのように促進されるかを示す。
このモデルは、ほぼ同変な特徴の集合(すなわち、その集合)をうまく学習できることを実証する。
カプセル(capsules)"シーケンスから直接取得し、対応する変換されたテストシーケンスに対して高い確率を達成する。
推定ネットワークとシーケンス変換の近似可換性を測定することにより、等価性が定量的に検証される。
最後に、既存のグループ同変ニューラルネットワークの機能を拡張することで、複素変換に対する近似同値性を示す。
関連論文リスト
- Interpreting Equivariant Representations [5.325297567945828]
本稿では,同変モデルによる帰納バイアスも潜在表現を用いて考慮する必要があることを示す。
インダクティブバイアスを考慮しないと下流タスクのパフォーマンスが低下することを示す。
論文 参考訳(メタデータ) (2024-01-23T09:43:30Z) - Unsupervised Learning of Invariance Transformations [105.54048699217668]
近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。
重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
論文 参考訳(メタデータ) (2023-07-24T17:03:28Z) - Manifold Contrastive Learning with Variational Lie Group Operators [5.0741409008225755]
そこで本研究では, 余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰乗群演算子を用いて, 潜在多様体を直接モデル化する対照的な学習手法を提案する。
これらの係数上の変動分布は多様体の生成モデルを提供し、対照的なトレーニングと下流のタスクの両方で適用可能な特徴増強を提供するサンプルを提供する。
論文 参考訳(メタデータ) (2023-06-23T15:07:01Z) - Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。
自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。
標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
論文 参考訳(メタデータ) (2023-03-08T08:11:26Z) - Deformation Robust Roto-Scale-Translation Equivariant CNNs [10.44236628142169]
グループ同変畳み込みニューラルネットワーク(G-CNN)は,固有対称性を持つ一般化性能を著しく向上させる。
G-CNNの一般的な理論と実践的実装は、回転またはスケーリング変換の下での平面画像に対して研究されている。
論文 参考訳(メタデータ) (2021-11-22T03:58:24Z) - Invariance-based Multi-Clustering of Latent Space Embeddings for
Equivariant Learning [12.770012299379099]
より深い群不変学習を強制することにより、リー群多様体における等角写像を非共役化する手法を提案する。
実験の結果,このモデルでは,不変表現と同変表現を効果的に切り離すことができ,学習速度が大幅に向上することがわかった。
論文 参考訳(メタデータ) (2021-07-25T03:27:47Z) - Self-Supervised Graph Representation Learning via Topology
Transformations [61.870882736758624]
本稿では,グラフデータのノード表現のための自己教師型学習の一般的なパラダイムであるトポロジー変換同変表現学習について述べる。
実験では,提案手法を下流ノードおよびグラフ分類タスクに適用し,提案手法が最先端の教師なし手法より優れていることを示す。
論文 参考訳(メタデータ) (2021-05-25T06:11:03Z) - LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。
我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。
任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
論文 参考訳(メタデータ) (2020-12-20T11:02:49Z) - The general theory of permutation equivarant neural networks and higher
order graph variational encoders [6.117371161379209]
一般置換同変層の式を導出し、各層が列と列を同時に置換することで行列に作用する場合を含む。
このケースはグラフ学習や関係学習アプリケーションで自然に発生する。
2階グラフ変分エンコーダを提案し、同変生成モデルの潜在分布は交換可能である必要があることを示す。
論文 参考訳(メタデータ) (2020-04-08T13:29:56Z) - Generalizing Convolutional Neural Networks for Equivariance to Lie
Groups on Arbitrary Continuous Data [52.78581260260455]
任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。
同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
論文 参考訳(メタデータ) (2020-02-25T17:40:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。