論文の概要: Be More Active! Understanding the Differences between Mean and Sampled Representations of Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2109.12679v2
• Date: Wed, 29 Sep 2021 09:08:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-30 11:24:04.061026
• Title: Be More Active! Understanding the Differences between Mean and Sampled Representations of Variational Autoencoders
• Title（参考訳）: もっと活発にしろ! 変分オートエンコーダの意味とサンプル表現の差異を理解する
• Authors: Lisa Bonheme and Marek Grzes
• Abstract要約: 我々は、当初、サンプル表現のために提案されていた既存の定義を、表現を意味するように拡張する。 次に、受動的変数を分離し、それらが平均表現とサンプル表現の相違の原因であることを示す。
• 参考スコア（独自算出の注目度）: 4.18804572788063
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The ability of Variational Autoencoders to learn disentangled representations has made them appealing for practical applications. However, their mean representations, which are generally used for downstream tasks, have recently been shown to be more correlated than their sampled counterpart, on which disentanglement is usually measured. In this paper, we refine this observation through the lens of selective posterior collapse, which states that only a subset of the learned representations, the active variables, is encoding useful information while the rest (the passive variables) is discarded. We first extend the existing definition, originally proposed for sampled representations, to mean representations and show that active variables are equally disentangled in both representations. Based on this new definition and the pre-trained models from disentanglement lib, we then isolate the passive variables and show that they are responsible for the discrepancies between mean and sampled representations. Specifically, passive variables exhibit high correlation scores with other variables in mean representations while being fully uncorrelated in sampled ones. We thus conclude that despite what their higher correlation might suggest, mean representations are still good candidates for downstream tasks applications. However, it may be beneficial to remove their passive variables, especially when used with models sensitive to correlated features.
• Abstract（参考訳）: 変分オートエンコーダが異種表現を学習する能力は、実用的応用に魅力的である。 しかし、下流のタスクに一般的に使用される平均表現は、通常、アンタングルメントが測定されるサンプルよりも相関性が高いことが最近示されている。 本稿では,学習表現のサブセットであるアクティブ変数のみが有用な情報をエンコードし,残り(パッシブ変数)は破棄されるという,選択的後方崩壊のレンズを通してこの観察を洗練する。 まず、当初サンプル表現のために提案された既存の定義を拡張し、各表現において活性変数が等しく非絡み合っていることを示す。 この新たな定義と、乱れlibからの事前学習モデルに基づいて、受動的変数を分離し、平均表現とサンプル表現の相違に責任があることを示す。 具体的には、受動的変数は他の変数と平均表現において高い相関スコアを示し、サンプル変数では完全に相関しない。 したがって、それらの高い相関関係が示唆するものにもかかわらず、平均表現は下流タスクアプリケーションにとっていまだに良い候補である、と結論づける。 しかし、特に相関した特徴に敏感なモデルを使用する場合、受動的変数を削除することは有益である。

関連論文リスト

• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• Even Small Correlation and Diversity Shifts Pose Dataset-Bias Issues [19.4921353136871]
  実験サンプルがトレーニング中に見つからないパターンを示す場合の多様性シフトと、テストデータが観察された不変性と急激な特徴の異なる相関を示す場合の相関シフトの2種類について検討した。 そこで我々は,両タイプのシフトをデータセットを用いて分析し,制御可能な方法で共存する統合プロトコルを提案する。
  論文  参考訳（メタデータ） (2023-05-09T23:40:23Z)
• Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
  柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。 合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
  論文  参考訳（メタデータ） (2023-01-02T06:16:56Z)
• Causal Transportability for Visual Recognition [70.13627281087325]
  画像とラベルの関連性は、設定間では転送できないため、標準分類器がフェールすることを示す。 次に、すべての共起源を摂食する因果効果が、ドメイン間で不変であることを示す。 これにより、画像分類における因果効果を推定するアルゴリズムを開発する動機付けとなる。
  論文  参考訳（メタデータ） (2022-04-26T15:02:11Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Null-sampling for Interpretable and Fair Representations [8.654168514863649]
  データ領域における不変表現を学習し、アルゴリズム的公正性における解釈可能性を実現する。 データドメインに表現を配置することで、モデルによってなされた変更は、人間の監査官によって容易に検査可能である。
  論文  参考訳（メタデータ） (2020-08-12T11:49:01Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)
• Discrete Latent Variable Representations for Low-Resource Text Classification [47.936293924113855]
  テキストに対する離散潜在変数モデルを学習するためのアプローチを検討する。 低リソース文書と文分類のための特徴として,学習した表現の性能を比較した。 ハードEMの償却版は、特に低リソース状態においてよく機能する。
  論文  参考訳（メタデータ） (2020-06-11T06:55:13Z)
• Be Like Water: Robustness to Extraneous Variables Via Adaptive Feature Normalization [17.829013101192295]
  外部変数は特定のタスクに無関係な変数であるが、利用可能なデータの分布に大きな影響を及ぼす変数である。 このような変数の存在は、ディープラーニングモデルの性能を低下させる可能性があることを示す。 我々は,例えば正規化のように,推測中に特徴統計量を適応的に推定することが,この問題に対処することを示す。
  論文  参考訳（メタデータ） (2020-02-10T18:47:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。