論文の概要: Variantional autoencoder with decremental information bottleneck for disentanglement

• arxiv url: http://arxiv.org/abs/2303.12959v2
• Date: Wed, 4 Oct 2023 13:20:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 22:21:21.401605
• Title: Variantional autoencoder with decremental information bottleneck for disentanglement
• Title（参考訳）: 分節情報ボトルネックを有する異型オートエンコーダ
• Authors: Jiantao Wu, Shentong Mo, Xiang Yang, Muhammad Awais, Sara Atito, Xingshen Zhang, Lin Wang, Xiang Yang
• Abstract要約: 本稿では,情報ボトルネックの低減を図った階層型潜在空間を利用した非交叉表現学習フレームワークDeVAEを提案する。 このアプローチの鍵となる革新は、非交叉不変変換を通じて階層的潜在空間を接続することである。 一連の実験とdSpriteとShapes3Dデータセットのアブレーション研究を通じて, ゆがみと復元のバランスを達成する上でのDeVAEの有効性を実証した。
• 参考スコア（独自算出の注目度）: 16.93743613675349
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One major challenge of disentanglement learning with variational autoencoders is the trade-off between disentanglement and reconstruction fidelity. Previous studies, which increase the information bottleneck during training, tend to lose the constraint of disentanglement, leading to the information diffusion problem. In this paper, we present a novel framework for disentangled representation learning, DeVAE, which utilizes hierarchical latent spaces with decreasing information bottlenecks across these spaces. The key innovation of our approach lies in connecting the hierarchical latent spaces through disentanglement-invariant transformations, allowing the sharing of disentanglement properties among spaces while maintaining an acceptable level of reconstruction performance. We demonstrate the effectiveness of DeVAE in achieving a balance between disentanglement and reconstruction through a series of experiments and ablation studies on dSprites and Shapes3D datasets. Code is available at https://github.com/erow/disentanglement_lib/tree/pytorch#devae.
• Abstract（参考訳）: 変分オートエンコーダとの絡み合い学習の大きな課題は、絡み合いと再構成の忠実さのトレードオフである。 トレーニング中の情報のボトルネックを増大させる以前の研究は、絡み合いの制約を失う傾向にあり、情報拡散問題を引き起こす。 本稿では,これらの空間にまたがる情報ボトルネックを低減し,階層的潜在空間を活用し,分散表現学習のための新しい枠組みであるdevaeを提案する。 本手法の重要な革新は,不等角-不変変換を通じて階層的潜在空間を接続し,不等角化特性を空間間で共有し,許容される再構成性能を保ちながら共有することである。 一連の実験とdSpriteとShapes3Dデータセットのアブレーション研究を通じて, ゆがみと復元のバランスを達成する上でのDeVAEの有効性を実証した。 コードはhttps://github.com/erow/disentanglement_lib/tree/pytorch#devaeで入手できる。

関連論文リスト

• Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration [64.84134880709625]
  拡散モデルを用いて,雑音空間を介して領域適応を行うことが可能であることを示す。 特に、補助的な条件入力が多段階の復調過程にどのように影響するかというユニークな性質を活用することにより、有意義な拡散損失を導出する。 拡散モデルにおけるチャネルシャッフル層や残留スワッピング型コントラスト学習などの重要な戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-26T17:40:30Z)
• Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein [56.62376364594194]
  教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。 本研究では、最適輸送のレンズの下でこれらのアプローチを再検討し、Gromov-Wasserstein問題と関係を示す。 これにより、分散還元と呼ばれる新しい一般的なフレームワークが公開され、DRとクラスタリングを特別なケースとして回復し、単一の最適化問題内でそれらに共同で対処することができる。
  論文  参考訳（メタデータ） (2024-02-03T19:00:19Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• Hub-VAE: Unsupervised Hub-based Regularization of Variational Autoencoders [11.252245456934348]
  我々は、ハブベースの先行とハブベースのコントラスト損失を混合した非教師付きデータ駆動型潜在空間の正規化を提案する。 本アルゴリズムは,組込み空間におけるクラスタ分離性,高精度なデータ再構成と生成を実現する。
  論文  参考訳（メタデータ） (2022-11-18T19:12:15Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• GCVAE: Generalized-Controllable Variational AutoEncoder [0.0]
  極めて低い復元誤差と高い絡み合いスコアのトレードオフを扱うための枠組みを提案する。 復元ネットワークにおける情報の最大化は、償却推論時の情報と等価であることを示す。
  論文  参考訳（メタデータ） (2022-06-09T02:29:30Z)
• Learning disentangled representations with the Wasserstein Autoencoder [22.54887526392739]
  我々は,潜伏変数の総相関をペナルティ化するためのTCWAE(Total correlation Wasserstein Autoencoder)を提案する。 本稿では,WAEパラダイムにおける作業が,全相関項の分離を自然に可能にし,学習した表現に対する絡み合いの制御を可能にすることを示す。 さらに, 再構成期間におけるWAEパラダイムの柔軟性が向上する, 未知の生成因子を含む, より複雑なデータセット上での絡み合いと再構成のトレードオフについて検討する。
  論文  参考訳（メタデータ） (2020-10-07T14:52:06Z)
• Representation Learning via Adversarially-Contrastive Optimal Transport [40.52344027750609]
  我々はその問題をコントラスト表現学習の文脈に設定した。 本稿では,ワッサースタイン GAN と新しい分類器を結合するフレームワークを提案する。 我々の結果は、挑戦的なベースラインに対する競争力を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:46:18Z)
• Invariant Integration in Deep Convolutional Feature Space [77.99182201815763]
  より深いニューラルネットワークアーキテクチャに事前知識を原則的に組み込む方法を示す。 本稿では,Rotated-MNISTデータセットの最先端性能について報告する。
  論文  参考訳（メタデータ） (2020-04-20T09:45:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。