論文の概要: Overlooked Implications of the Reconstruction Loss for VAE Disentanglement

• arxiv url: http://arxiv.org/abs/2202.13341v3
• Date: Wed, 9 Aug 2023 23:29:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-11 16:56:58.962300
• Title: Overlooked Implications of the Reconstruction Loss for VAE Disentanglement
• Title（参考訳）: VAEアンタングメントにおける再建損失の展望
• Authors: Nathan Michlo, Richard Klein, Steven James
• Abstract要約: 標準ベンチマークデータセットは, 主観的基盤構造因子と知覚的軸との間に意図しない相関関係を持つことを示す。 我々の研究は、この関係を利用して、与えられた再構成損失の下での敵対的データセットを構成するものの理論を提供する。
• 参考スコア（独自算出の注目度）: 2.320417845168326
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Learning disentangled representations with variational autoencoders (VAEs) is often attributed to the regularisation component of the loss. In this work, we highlight the interaction between data and the reconstruction term of the loss as the main contributor to disentanglement in VAEs. We show that standard benchmark datasets have unintended correlations between their subjective ground-truth factors and perceived axes in the data according to typical VAE reconstruction losses. Our work exploits this relationship to provide a theory for what constitutes an adversarial dataset under a given reconstruction loss. We verify this by constructing an example dataset that prevents disentanglement in state-of-the-art frameworks while maintaining human-intuitive ground-truth factors. Finally, we re-enable disentanglement by designing an example reconstruction loss that is once again able to perceive the ground-truth factors. Our findings demonstrate the subjective nature of disentanglement and the importance of considering the interaction between the ground-truth factors, data and notably, the reconstruction loss, which is under-recognised in the literature.
• Abstract（参考訳）: 変分オートエンコーダ(VAE)を用いた非絡み合い表現の学習は、しばしば損失の正規化成分に起因する。 本稿では,vaesにおける絡み合いの主な要因として,データと損失の再構築期間の相互作用に注目した。 標準ベンチマークデータセットは,典型的vae再構成損失による主観的基底因子と知覚軸との意図しない相関を示す。 我々の研究は、この関係を利用して、与えられた再構成損失の下での敵対的データセットを構成する理論を提供する。 我々は,人間の直観的な基盤要因を維持しつつ,最先端のフレームワークの絡み合いを防止できる例データセットを構築して検証する。 最後に, 再度地中因子を知覚可能な復元損失の例を考案し, 乱れを再現する。 本研究は, ゆがみの主観的性質と, 地下構造因子, データ, 特に文献で認識されていない復元損失の相互作用を考慮することの重要性を明らかにした。

関連論文リスト

• RESTAD: REconstruction and Similarity based Transformer for time series Anomaly Detection [3.0377067713090633]
  時系列データの異常検出は、様々な領域で重要である。 アーキテクチャに放射基底関数(RBF)の層を組み込むことにより、トランスフォーマーモデルの適応であるRESTADを導入する。
  論文  参考訳（メタデータ） (2024-05-13T07:10:35Z)
• Mitigating the Effect of Incidental Correlations on Part-based Learning [50.682498099720114]
  部分ベースの表現は、より解釈可能で、限られたデータでより一般化できる。 パートベース表現のための2つの革新的な正規化手法を提案する。 我々は、ベンチマークデータセット上の数ショットの学習タスクに対して、最先端(SoTA)パフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-09-30T13:44:48Z)
• Disentanglement Learning via Topology [22.33086299021419]
  マルチスケールなトポロジ的損失項を付加することにより,不整合表現を学習するTopDisを提案する。 ディスタングルメントは、ディープラーニングモデルの説明可能性と堅牢性にとって重要なデータ表現の重要な特性である。 提案した位相損失を用いて,訓練されたGANにおいて不整合方向を求める方法を示す。
  論文  参考訳（メタデータ） (2023-08-24T10:29:25Z)
• Should We Rely on Entity Mentions for Relation Extraction? Debiasing Relation Extraction with Counterfactual Analysis [60.83756368501083]
  文レベルの関係抽出のためのCORE(Counterfactual Analysis based Relation extract)デバイアス法を提案する。 我々のCORE法は,トレーニングプロセスを変更することなく,推論中に既存のREシステムを劣化させるモデルに依存しない。
  論文  参考訳（メタデータ） (2022-05-08T05:13:54Z)
• OR-Net: Pointwise Relational Inference for Data Completion under Partial Observation [51.083573770706636]
  この作業はリレーショナル推論を使って不完全なデータを埋めます。 本稿では,2つの点での相対性理論をモデル化するために,全関係ネットワーク (or-net) を提案する。
  論文  参考訳（メタデータ） (2021-05-02T06:05:54Z)
• Learning disentangled representations with the Wasserstein Autoencoder [22.54887526392739]
  我々は,潜伏変数の総相関をペナルティ化するためのTCWAE(Total correlation Wasserstein Autoencoder)を提案する。 本稿では,WAEパラダイムにおける作業が,全相関項の分離を自然に可能にし,学習した表現に対する絡み合いの制御を可能にすることを示す。 さらに, 再構成期間におけるWAEパラダイムの柔軟性が向上する, 未知の生成因子を含む, より複雑なデータセット上での絡み合いと再構成のトレードオフについて検討する。
  論文  参考訳（メタデータ） (2020-10-07T14:52:06Z)
• On Disentangled Representations Learned From Correlated Data [59.41587388303554]
  相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。 本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。 また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
  論文  参考訳（メタデータ） (2020-06-14T12:47:34Z)
• CausalVAE: Structured Causal Disentanglement in Variational Autoencoder [52.139696854386976]
  変分オートエンコーダ(VAE)の枠組みは、観測から独立した因子をアンタングルするために一般的に用いられる。 本稿では, 因果内因性因子を因果内因性因子に変換する因果層を含むVOEベースの新しいフレームワークCausalVAEを提案する。 その結果、CausalVAEが学習した因果表現は意味論的に解釈可能であり、DAG(Directed Acyclic Graph)としての因果関係は精度良く同定された。
  論文  参考訳（メタデータ） (2020-04-18T20:09:34Z)
• RescueNet: Joint Building Segmentation and Damage Assessment from Satellite Imagery [83.49145695899388]
  RescueNetは、建物を同時に分割し、個々の建物に対する損傷レベルを評価し、エンドツーエンドでトレーニングできる統一モデルである。 RescueNetは大規模で多様なxBDデータセットでテストされており、従来の手法よりもはるかに優れたセグメンテーションと損傷分類性能を実現している。
  論文  参考訳（メタデータ） (2020-04-15T19:52:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。