論文の概要: Momentum Contrastive Autoencoder: Using Contrastive Learning for Latent Space Distribution Matching in WAE

• arxiv url: http://arxiv.org/abs/2110.10303v1
• Date: Tue, 19 Oct 2021 22:55:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-22 16:36:26.400360
• Title: Momentum Contrastive Autoencoder: Using Contrastive Learning for Latent Space Distribution Matching in WAE
• Title（参考訳）: 運動量コントラストオートエンコーダ:waeにおける潜在空間分布マッチングのためのコントラスト学習
• Authors: Devansh Arpit, Aadyot, Bhatnagar, Huan Wang, Caiming Xiong
• Abstract要約: Wasserstein autoencoder (WAE) は、2つの分布が一致することは、このAEの潜在空間が予め指定された事前分布と一致するという制約の下で、単純なオートエンコーダ(AE)損失を最小限にすることと同値であることを示している。 本稿では,この問題を解決する手段として,自己指導型表現学習に有効であることを示すコントラスト学習フレームワークを提案する。 WAEの損失を最適化するために、対照的な学習フレームワークを使用することで、WAEの一般的なアルゴリズムと比較して、より高速に収束し、より安定した最適化が達成できることを示す。
• 参考スコア（独自算出の注目度）: 51.09507030387935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wasserstein autoencoder (WAE) shows that matching two distributions is equivalent to minimizing a simple autoencoder (AE) loss under the constraint that the latent space of this AE matches a pre-specified prior distribution. This latent space distribution matching is a core component of WAE, and a challenging task. In this paper, we propose to use the contrastive learning framework that has been shown to be effective for self-supervised representation learning, as a means to resolve this problem. We do so by exploiting the fact that contrastive learning objectives optimize the latent space distribution to be uniform over the unit hyper-sphere, which can be easily sampled from. We show that using the contrastive learning framework to optimize the WAE loss achieves faster convergence and more stable optimization compared with existing popular algorithms for WAE. This is also reflected in the FID scores on CelebA and CIFAR-10 datasets, and the realistic generated image quality on the CelebA-HQ dataset.
• Abstract（参考訳）: Wasserstein autoencoder (WAE) は、2つの分布が一致することは、このAEの潜在空間が予め指定された事前分布と一致するという制約の下で、単純なオートエンコーダ(AE)損失を最小限にすることと同値であることを示した。 この潜在空間分布マッチングはWAEのコアコンポーネントであり、課題である。 本稿では,この問題を解決する手段として,自己指導型表現学習に有効であることを示すコントラスト学習フレームワークを提案する。 対照的な学習目的が、単位超球面上で一様となる潜在空間分布を最適化するという事実を利用して、容易にサンプル化できる。 コントラスト学習フレームワークを用いてwae損失を最適化することで、既存のwaeアルゴリズムと比較して、より高速に収束し、より安定した最適化を実現することを示す。 これはcelebaとcifar-10データセットのfidスコアやceleba-hqデータセットの現実的な画像品質にも反映されている。

関連論文リスト

• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• Symmetric Equilibrium Learning of VAEs [56.56929742714685]
  可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。 本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
  論文  参考訳（メタデータ） (2023-07-19T10:27:34Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Adaptive Sparse Convolutional Networks with Global Context Enhancement for Faster Object Detection on Drone Images [26.51970603200391]
  本稿では,スパース畳み込みに基づく検出ヘッドの最適化について検討する。 これは、小さなオブジェクトのコンテキスト情報の不十分な統合に悩まされる。 本稿では,グローバルな文脈拡張型適応スパース畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-25T14:42:50Z)
• Distribution-aware Margin Calibration for Semantic Segmentation in Images [78.65312390695038]
  ジャカードインデックス(ジャカードインデックス、Intersection-over-Union、IoU)は、画像セマンティックセグメンテーションにおいて最も重要な評価指標の一つである。 IoUスコアの直接最適化は非常に困難である。 学習目的として直接使用できるマージン校正法を提案し,データ分散に対するIoUの一般化を改良する。
  論文  参考訳（メタデータ） (2021-12-21T22:38:25Z)
• Dense Unsupervised Learning for Video Segmentation [49.46930315961636]
  ビデオオブジェクトセグメンテーション(VOS)のための教師なし学習のための新しいアプローチを提案する。 これまでの研究とは異なり、我々の定式化によって、完全に畳み込みの仕組みで、密集した特徴表現を直接学習することができる。 我々の手法は、トレーニングデータや計算能力が大幅に少ないにもかかわらず、以前の作業のセグメンテーション精度を超える。
  論文  参考訳（メタデータ） (2021-11-11T15:15:11Z)
• ScRAE: Deterministic Regularized Autoencoders with Flexible Priors for Clustering Single-cell Gene Expression Data [11.511172015076532]
  シングルセルRNA配列(scRNA-seq)のクラスタリングは、統計的および計算上の課題を引き起こす。 正規化オートエンコーダ(RAE)ベースのディープニューラルネットワークモデルは、ロバストな低次元表現の学習において大きな成功を収めている。 単一セルRNAシークエンシングデータの効果的なクラスタリングのためのRAEフレームワーク( scRAE と呼ばれる)を提案する。
  論文  参考訳（メタデータ） (2021-07-16T05:13:31Z)
• To Regularize or Not To Regularize? The Bias Variance Trade-off in Regularized AEs [10.611727286504994]
  AEモデルの生成決定論的品質に及ぼす潜伏剤の影響について検討する。 我々は、FlexAEと呼ばれるモデルが、AEベースの生成モデルのための新しい最先端技術であることを示します。
  論文  参考訳（メタデータ） (2020-06-10T14:00:14Z)
• Variational Auto-Encoder: not all failures are equal [0.0]
  我々は,VAEのぼかし問題に対して,鋭さ学習がいかに対処しているかを示す。 この論文は、人工データ(MNISTとCelebA)の実験に基づいており、その鋭さ学習が、悪名高いVAEのぼかし問題にどのように対処するかを示している。
  論文  参考訳（メタデータ） (2020-03-04T09:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。