論文の概要: Topographic VAEs learn Equivariant Capsules

• arxiv url: http://arxiv.org/abs/2109.01394v1
• Date: Fri, 3 Sep 2021 09:25:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-06 14:04:24.820479
• Title: Topographic VAEs learn Equivariant Capsules
• Title（参考訳）: 地形VAEは等変カプセルを学習する
• Authors: T. Anderson Keller and Max Welling
• Abstract要約: 本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
• 参考スコア（独自算出の注目度）: 84.33745072274942
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work we seek to bridge the concepts of topographic organization and equivariance in neural networks. To accomplish this, we introduce the Topographic VAE: a novel method for efficiently training deep generative models with topographically organized latent variables. We show that such a model indeed learns to organize its activations according to salient characteristics such as digit class, width, and style on MNIST. Furthermore, through topographic organization over time (i.e. temporal coherence), we demonstrate how predefined latent space transformation operators can be encouraged for observed transformed input sequences -- a primitive form of unsupervised learned equivariance. We demonstrate that this model successfully learns sets of approximately equivariant features (i.e. "capsules") directly from sequences and achieves higher likelihood on correspondingly transforming test sequences. Equivariance is verified quantitatively by measuring the approximate commutativity of the inference network and the sequence transformations. Finally, we demonstrate approximate equivariance to complex transformations, expanding upon the capabilities of existing group equivariant neural networks.
• Abstract（参考訳）: 本研究では、ニューラルネットワークにおける地形構造と等分散の概念を橋渡しする。 そこで本稿では, 深部生成モデルの学習を効率的に行うための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することができる。 さらに、時とともに地形組織を通して(すなわち) 時間コヒーレンス (temporal coherence) は、事前定義された潜在空間変換作用素が、非教師なし学習同分散の原始形式である観測された変換入力列に対してどのように促進されるかを示す。 このモデルは、ほぼ同変な特徴の集合(すなわち、その集合)をうまく学習できることを実証する。 カプセル(capsules)"シーケンスから直接取得し、対応する変換されたテストシーケンスに対して高い確率を達成する。 推定ネットワークとシーケンス変換の近似可換性を測定することにより、等価性が定量的に検証される。 最後に、既存のグループ同変ニューラルネットワークの機能を拡張することで、複素変換に対する近似同値性を示す。

関連論文リスト

• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• Interpreting Equivariant Representations [5.325297567945828]
  本稿では,同変モデルによる帰納バイアスも潜在表現を用いて考慮する必要があることを示す。 インダクティブバイアスを考慮しないと下流タスクのパフォーマンスが低下することを示す。
  論文  参考訳（メタデータ） (2024-01-23T09:43:30Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• Manifold Contrastive Learning with Variational Lie Group Operators [5.0741409008225755]
  そこで本研究では, 余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰乗群演算子を用いて, 潜在多様体を直接モデル化する対照的な学習手法を提案する。 これらの係数上の変動分布は多様体の生成モデルを提供し、対照的なトレーニングと下流のタスクの両方で適用可能な特徴増強を提供するサンプルを提供する。
  論文  参考訳（メタデータ） (2023-06-23T15:07:01Z)
• Permutation Equivariance of Transformers and Its Applications [25.666783258054465]
  トランスフォーマーベースのモデルはシャッフルに頑丈であるが、前方伝播におけるトークン間の置換に限られる。 ニューラルネットワークの前方及び後方伝播におけるトークン間置換とトークン内置換の両方を包含するより広範な概念である置換同値を提案する。 概念実証として、プライバシ強化分割学習やモデル認可を含む現実世界のアプリケーションが、置換同値性をどのように活用できるかを考察する。
  論文  参考訳（メタデータ） (2023-04-16T09:25:24Z)
• Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
  群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。 自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。 標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
  論文  参考訳（メタデータ） (2023-03-08T08:11:26Z)
• Deformation Robust Roto-Scale-Translation Equivariant CNNs [10.44236628142169]
  グループ同変畳み込みニューラルネットワーク(G-CNN)は,固有対称性を持つ一般化性能を著しく向上させる。 G-CNNの一般的な理論と実践的実装は、回転またはスケーリング変換の下での平面画像に対して研究されている。
  論文  参考訳（メタデータ） (2021-11-22T03:58:24Z)
• Invariance-based Multi-Clustering of Latent Space Embeddings for Equivariant Learning [12.770012299379099]
  より深い群不変学習を強制することにより、リー群多様体における等角写像を非共役化する手法を提案する。 実験の結果,このモデルでは,不変表現と同変表現を効果的に切り離すことができ,学習速度が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2021-07-25T03:27:47Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data [52.78581260260455]
  任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。 同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
  論文  参考訳（メタデータ） (2020-02-25T17:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。