論文の概要: Invariance-based Multi-Clustering of Latent Space Embeddings for Equivariant Learning

• arxiv url: http://arxiv.org/abs/2107.11717v1
• Date: Sun, 25 Jul 2021 03:27:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-27 16:21:06.182059
• Title: Invariance-based Multi-Clustering of Latent Space Embeddings for Equivariant Learning
• Title（参考訳）: 等価学習のための潜在空間埋め込みの不変性に基づくマルチクラスタ化
• Authors: Chandrajit Bajaj, Avik Roy, Haoran Zhang
• Abstract要約: より深い群不変学習を強制することにより、リー群多様体における等角写像を非共役化する手法を提案する。 実験の結果,このモデルでは,不変表現と同変表現を効果的に切り離すことができ,学習速度が大幅に向上することがわかった。
• 参考スコア（独自算出の注目度）: 12.770012299379099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational Autoencoders (VAEs) have been shown to be remarkably effective in recovering model latent spaces for several computer vision tasks. However, currently trained VAEs, for a number of reasons, seem to fall short in learning invariant and equivariant clusters in latent space. Our work focuses on providing solutions to this problem and presents an approach to disentangle equivariance feature maps in a Lie group manifold by enforcing deep, group-invariant learning. Simultaneously implementing a novel separation of semantic and equivariant variables of the latent space representation, we formulate a modified Evidence Lower BOund (ELBO) by using a mixture model pdf like Gaussian mixtures for invariant cluster embeddings that allows superior unsupervised variational clustering. Our experiments show that this model effectively learns to disentangle the invariant and equivariant representations with significant improvements in the learning rate and an observably superior image recognition and canonical state reconstruction compared to the currently best deep learning models.
• Abstract（参考訳）: 可変オートエンコーダ(VAE)は、複数のコンピュータビジョンタスクのためのモデル潜在空間の復元に極めて有効であることが示されている。 しかしながら、現在訓練されているVAEは、いくつかの理由により、潜在空間における不変および同変クラスタの学習に不足しているようである。 本研究は,この問題に対する解の提供に焦点をあて,リー群多様体内の等分散特徴写像を深く,グループ不変な学習を強制する手法を提案する。 潜在空間表現の意味的および同変変数の新たな分離を同時に実装し、より優れた教師なし変分クラスタリングを可能にする不変クラスタ埋め込みのためのガウス混合のような混合モデルpdfを用いて、改良されたエビデンス下界 (elbo) を定式化する。 実験により,本モデルは,現在最良なディープラーニングモデルと比較して,学習率と可観測的に優れた画像認識と正準状態再構成により,不変表現と同変表現を効果的に分離することを示す。

関連論文リスト

• Uniform Transformation: Refining Latent Representation in Variational Autoencoders [7.4316292428754105]
  本稿では,不規則な潜伏分布に対応するために,新しい適応型3段階一様変換(UT)モジュールを提案する。 この手法は不規則分布を潜在空間の均一分布に再構成することにより、潜在表現の絡み合いと解釈可能性を大幅に向上させる。 実験により,提案するUTモジュールの有効性を実証し,ベンチマークデータセット間の絡み合いの指標を改良した。
  論文  参考訳（メタデータ） (2024-07-02T21:46:23Z)
• Contrastive Learning Via Equivariant Representation [19.112460889771423]
  CLeVERは,任意の複雑性の増大戦略に適合する,新しい異種コントラスト学習フレームワークである。 実験結果から,CLeVERは実用自然画像から同変情報を効果的に抽出し,組み込んだ。
  論文  参考訳（メタデータ） (2024-06-01T01:53:51Z)
• Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
  本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。 我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
  論文  参考訳（メタデータ） (2023-10-22T04:06:44Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Sufficient Invariant Learning for Distribution Shift [20.88069274935592]
  本稿では,SIL(Sufficient Invariant Learning)フレームワークという新しい学習原理を紹介する。 SILは、単一の機能に頼るのではなく、不変機能の十分なサブセットを学ぶことに重点を置いている。 本稿では,適応シャープネスを意識したグループ分散ロバスト最適化(ASGDRO)を提案する。
  論文  参考訳（メタデータ） (2022-10-24T18:34:24Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Invariant Deep Compressible Covariance Pooling for Aerial Scene Categorization [80.55951673479237]
  本研究では,空気シーン分類におけるニュアンス変動を解決するために,新しい不変な深部圧縮性共分散プール (IDCCP) を提案する。 本研究では,公開空間画像データセットに関する広範な実験を行い,最先端の手法と比較して,この手法の優位性を実証する。
  論文  参考訳（メタデータ） (2020-11-11T11:13:07Z)
• Disentangled Representation Learning and Generation with Manifold Optimization [10.69910379275607]
  本研究は,変分方向の促進による絡み合いを明確に促進する表現学習フレームワークを提案する。 理論的な議論と様々な実験により、提案モデルは、生成品質と非絡み合い表現学習の両方の観点から、多くのVAE変種よりも改善されていることが示された。
  論文  参考訳（メタデータ） (2020-06-12T10:00:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。