論文の概要: Variantional autoencoder with decremental information bottleneck for disentanglement

• arxiv url: http://arxiv.org/abs/2303.12959v1
• Date: Wed, 22 Mar 2023 23:38:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 16:08:52.390830
• Title: Variantional autoencoder with decremental information bottleneck for disentanglement
• Title（参考訳）: 分節情報ボトルネックを有する異型オートエンコーダ
• Authors: Jiantao Wu, Shentong Mo, Muhammad Awais, Sara Atito, Xingshen Zhang, Lin Wang, Xiang Yang
• Abstract要約: 変分自己エンコーダによる非絡合学習の大きな課題は、非絡合と再構成の忠実さのトレードオフである。 DeVAEと呼ばれる異なる層における複数の目的を最適化するために,不整合不変変換を持つ新しい変分オートエンコーダを提案する。
• 参考スコア（独自算出の注目度）: 14.053265362982623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One major challenge of disentanglement learning with variational autoencoders is the trade-off between disentanglement and reconstruction fidelity. Previous incremental methods with only on latent space cannot optimize these two targets simultaneously, so they expand the Information Bottleneck while training to {optimize from disentanglement to reconstruction. However, a large bottleneck will lose the constraint of disentanglement, causing the information diffusion problem. To tackle this issue, we present a novel decremental variational autoencoder with disentanglement-invariant transformations to optimize multiple objectives in different layers, termed DeVAE, for balancing disentanglement and reconstruction fidelity by decreasing the information bottleneck of diverse latent spaces gradually. Benefiting from the multiple latent spaces, DeVAE allows simultaneous optimization of multiple objectives to optimize reconstruction while keeping the constraint of disentanglement, avoiding information diffusion. DeVAE is also compatible with large models with high-dimension latent space. Experimental results on dSprites and Shapes3D that DeVAE achieves \fix{R2q6}{a good balance between disentanglement and reconstruction.DeVAE shows high tolerant of hyperparameters and on high-dimensional latent spaces.
• Abstract（参考訳）: 変分オートエンコーダとの絡み合い学習の大きな課題は、絡み合いと再構成の忠実さのトレードオフである。 この2つの目標を同時に最適化することはできないため、インフォメーション・ボトルネックをトレーニング中に拡張し、アンタングルメントから再構成までを最適化する。 しかし、大きなボトルネックは絡み合いの制約を失い、情報拡散問題を引き起こす。 この問題に対処するため,多層空間の情報ボトルネックを徐々に低減し,多層空間における複数の目的を最適化するデバエ (DeVAE) と呼ばれる新しいデクリメンタル変分オートエンコーダを提案する。 DeVAEは複数の潜在空間に適合し、情報の拡散を回避しつつ、複数の目的を同時に最適化して再構成を最適化する。 DeVAEは高次元の潜在空間を持つ大型モデルとも互換性がある。 DeVAEによるdSpritesとShapes3Dの実験結果から,Def{R2q6}{aは絡み合いと復元のバランスが良好であることがわかった。

関連論文リスト

• Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration [64.84134880709625]
  拡散モデルを用いて,雑音空間を介して領域適応を行うことが可能であることを示す。 特に、補助的な条件入力が多段階の復調過程にどのように影響するかというユニークな性質を活用することにより、有意義な拡散損失を導出する。 拡散モデルにおけるチャネルシャッフル層や残留スワッピング型コントラスト学習などの重要な戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-26T17:40:30Z)
• Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein [56.62376364594194]
  教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。 本研究では、最適輸送のレンズの下でこれらのアプローチを再検討し、Gromov-Wasserstein問題と関係を示す。 これにより、分散還元と呼ばれる新しい一般的なフレームワークが公開され、DRとクラスタリングを特別なケースとして回復し、単一の最適化問題内でそれらに共同で対処することができる。
  論文  参考訳（メタデータ） (2024-02-03T19:00:19Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• Hub-VAE: Unsupervised Hub-based Regularization of Variational Autoencoders [11.252245456934348]
  我々は、ハブベースの先行とハブベースのコントラスト損失を混合した非教師付きデータ駆動型潜在空間の正規化を提案する。 本アルゴリズムは,組込み空間におけるクラスタ分離性,高精度なデータ再構成と生成を実現する。
  論文  参考訳（メタデータ） (2022-11-18T19:12:15Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• GCVAE: Generalized-Controllable Variational AutoEncoder [0.0]
  極めて低い復元誤差と高い絡み合いスコアのトレードオフを扱うための枠組みを提案する。 復元ネットワークにおける情報の最大化は、償却推論時の情報と等価であることを示す。
  論文  参考訳（メタデータ） (2022-06-09T02:29:30Z)
• Learning disentangled representations with the Wasserstein Autoencoder [22.54887526392739]
  我々は,潜伏変数の総相関をペナルティ化するためのTCWAE(Total correlation Wasserstein Autoencoder)を提案する。 本稿では,WAEパラダイムにおける作業が,全相関項の分離を自然に可能にし,学習した表現に対する絡み合いの制御を可能にすることを示す。 さらに, 再構成期間におけるWAEパラダイムの柔軟性が向上する, 未知の生成因子を含む, より複雑なデータセット上での絡み合いと再構成のトレードオフについて検討する。
  論文  参考訳（メタデータ） (2020-10-07T14:52:06Z)
• Representation Learning via Adversarially-Contrastive Optimal Transport [40.52344027750609]
  我々はその問題をコントラスト表現学習の文脈に設定した。 本稿では,ワッサースタイン GAN と新しい分類器を結合するフレームワークを提案する。 我々の結果は、挑戦的なベースラインに対する競争力を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:46:18Z)
• Invariant Integration in Deep Convolutional Feature Space [77.99182201815763]
  より深いニューラルネットワークアーキテクチャに事前知識を原則的に組み込む方法を示す。 本稿では,Rotated-MNISTデータセットの最先端性能について報告する。
  論文  参考訳（メタデータ） (2020-04-20T09:45:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。