論文の概要: Variantional autoencoder with decremental information bottleneck for
disentanglement
- arxiv url: http://arxiv.org/abs/2303.12959v1
- Date: Wed, 22 Mar 2023 23:38:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 16:08:52.390830
- Title: Variantional autoencoder with decremental information bottleneck for
disentanglement
- Title(参考訳): 分節情報ボトルネックを有する異型オートエンコーダ
- Authors: Jiantao Wu, Shentong Mo, Muhammad Awais, Sara Atito, Xingshen Zhang,
Lin Wang, Xiang Yang
- Abstract要約: 変分自己エンコーダによる非絡合学習の大きな課題は、非絡合と再構成の忠実さのトレードオフである。
DeVAEと呼ばれる異なる層における複数の目的を最適化するために,不整合不変変換を持つ新しい変分オートエンコーダを提案する。
- 参考スコア(独自算出の注目度): 14.053265362982623
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One major challenge of disentanglement learning with variational autoencoders
is the trade-off between disentanglement and reconstruction fidelity. Previous
incremental methods with only on latent space cannot optimize these two targets
simultaneously, so they expand the Information Bottleneck while training to
{optimize from disentanglement to reconstruction. However, a large bottleneck
will lose the constraint of disentanglement, causing the information diffusion
problem. To tackle this issue, we present a novel decremental variational
autoencoder with disentanglement-invariant transformations to optimize multiple
objectives in different layers, termed DeVAE, for balancing disentanglement and
reconstruction fidelity by decreasing the information bottleneck of diverse
latent spaces gradually. Benefiting from the multiple latent spaces, DeVAE
allows simultaneous optimization of multiple objectives to optimize
reconstruction while keeping the constraint of disentanglement, avoiding
information diffusion. DeVAE is also compatible with large models with
high-dimension latent space. Experimental results on dSprites and Shapes3D that
DeVAE achieves \fix{R2q6}{a good balance between disentanglement and
reconstruction.DeVAE shows high tolerant of hyperparameters and on
high-dimensional latent spaces.
- Abstract(参考訳): 変分オートエンコーダとの絡み合い学習の大きな課題は、絡み合いと再構成の忠実さのトレードオフである。
この2つの目標を同時に最適化することはできないため、インフォメーション・ボトルネックをトレーニング中に拡張し、アンタングルメントから再構成までを最適化する。
しかし、大きなボトルネックは絡み合いの制約を失い、情報拡散問題を引き起こす。
この問題に対処するため,多層空間の情報ボトルネックを徐々に低減し,多層空間における複数の目的を最適化するデバエ (DeVAE) と呼ばれる新しいデクリメンタル変分オートエンコーダを提案する。
DeVAEは複数の潜在空間に適合し、情報の拡散を回避しつつ、複数の目的を同時に最適化して再構成を最適化する。
DeVAEは高次元の潜在空間を持つ大型モデルとも互換性がある。
DeVAEによるdSpritesとShapes3Dの実験結果から,Def{R2q6}{aは絡み合いと復元のバランスが良好であることがわかった。
関連論文リスト
- OrCo: Towards Better Generalization via Orthogonality and Contrast for Few-Shot Class-Incremental Learning [57.43911113915546]
FSCIL(Few-Shot Class-Incremental Learning)は、問題空間を限られたデータで拡張するパラダイムを導入する。
FSCILの手法は、データが漸進的に到着するにつれて、破滅的な忘れ込みの課題に直面している。
表現空間における特徴の直交性と対照的な学習という2つの基本原理に基づいて構築されたOrCoフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-27T13:30:48Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳(メタデータ) (2023-03-24T16:03:21Z) - Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification
in the Presence of Data Heterogeneity [60.791736094073]
通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。
本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。
提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
論文 参考訳(メタデータ) (2023-02-19T17:42:35Z) - Hub-VAE: Unsupervised Hub-based Regularization of Variational
Autoencoders [11.252245456934348]
我々は、ハブベースの先行とハブベースのコントラスト損失を混合した非教師付きデータ駆動型潜在空間の正規化を提案する。
本アルゴリズムは,組込み空間におけるクラスタ分離性,高精度なデータ再構成と生成を実現する。
論文 参考訳(メタデータ) (2022-11-18T19:12:15Z) - Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳(メタデータ) (2022-10-01T09:04:17Z) - GCVAE: Generalized-Controllable Variational AutoEncoder [0.0]
極めて低い復元誤差と高い絡み合いスコアのトレードオフを扱うための枠組みを提案する。
復元ネットワークにおける情報の最大化は、償却推論時の情報と等価であることを示す。
論文 参考訳(メタデータ) (2022-06-09T02:29:30Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - Learning disentangled representations with the Wasserstein Autoencoder [22.54887526392739]
我々は,潜伏変数の総相関をペナルティ化するためのTCWAE(Total correlation Wasserstein Autoencoder)を提案する。
本稿では,WAEパラダイムにおける作業が,全相関項の分離を自然に可能にし,学習した表現に対する絡み合いの制御を可能にすることを示す。
さらに, 再構成期間におけるWAEパラダイムの柔軟性が向上する, 未知の生成因子を含む, より複雑なデータセット上での絡み合いと再構成のトレードオフについて検討する。
論文 参考訳(メタデータ) (2020-10-07T14:52:06Z) - Representation Learning via Adversarially-Contrastive Optimal Transport [40.52344027750609]
我々はその問題をコントラスト表現学習の文脈に設定した。
本稿では,ワッサースタイン GAN と新しい分類器を結合するフレームワークを提案する。
我々の結果は、挑戦的なベースラインに対する競争力を示す。
論文 参考訳(メタデータ) (2020-07-11T19:46:18Z) - Invariant Integration in Deep Convolutional Feature Space [77.99182201815763]
より深いニューラルネットワークアーキテクチャに事前知識を原則的に組み込む方法を示す。
本稿では,Rotated-MNISTデータセットの最先端性能について報告する。
論文 参考訳(メタデータ) (2020-04-20T09:45:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。