論文の概要: How do Variational Autoencoders Learn? Insights from Representational Similarity

• arxiv url: http://arxiv.org/abs/2205.08399v1
• Date: Tue, 17 May 2022 14:31:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-18 13:53:33.939358
• Title: How do Variational Autoencoders Learn? Insights from Representational Similarity
• Title（参考訳）: 変分オートエンコーダはどのように学習するか? 表現の類似性から学ぶ
• Authors: Lisa Bonheme and Marek Grzes
• Abstract要約: 本研究では,変分オートエンコーダ(VAE)の内部挙動を表現的類似性手法を用いて検討する。 CKAとProcrustesの類似性を用いて,エンコーダの表現はデコーダよりもずっと前から学習されていることがわかった。
• 参考スコア（独自算出の注目度）: 2.969705152497174
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The ability of Variational Autoencoders (VAEs) to learn disentangled representations has made them popular for practical applications. However, their behaviour is not yet fully understood. For example, the questions of when they can provide disentangled representations, or suffer from posterior collapse are still areas of active research. Despite this, there are no layerwise comparisons of the representations learned by VAEs, which would further our understanding of these models. In this paper, we thus look into the internal behaviour of VAEs using representational similarity techniques. Specifically, using the CKA and Procrustes similarities, we found that the encoders' representations are learned long before the decoders', and this behaviour is independent of hyperparameters, learning objectives, and datasets. Moreover, the encoders' representations up to the mean and variance layers are similar across hyperparameters and learning objectives.
• Abstract（参考訳）: 変分オートエンコーダ(vaes)が異種表現を学習する能力は、実用的用途に人気を博している。 しかし、その行動はまだ完全には理解されていない。 例えば、不整合表現をいつ提供できるか、あるいは後部崩壊に苦しむのかという疑問は、まだ活発な研究領域である。 しかしながら、VAEが学習した表現を階層的に比較することはできず、これらのモデルをさらに理解することになる。 本稿では,VAEの内部挙動を表現的類似性技術を用いて考察する。 具体的には、CKAとProcrustesの類似性を用いて、エンコーダの表現はデコーダよりもずっと早く学習され、この振る舞いはハイパーパラメータ、学習目的、データセットから独立している。 さらに、平均層と分散層までのエンコーダの表現は、ハイパーパラメータと学習目標にわたって類似している。

関連論文リスト

• How good are variational autoencoders at transfer learning? [2.969705152497174]
  私たちは、異なるデータセットでトレーニングされたVAEの類似性を評価するために、Centred Kernel Alignmentを使用します。 本稿では,VAEのどのコンポーネントを再訓練するかを選択することの意味について論じるとともに,伝達学習が分類タスクに役立つかどうかを視覚的に評価する手法を提案する。
  論文  参考訳（メタデータ） (2023-04-21T06:32:32Z)
• What Are You Token About? Dense Retrieval as Distributions Over the Vocabulary [68.77983831618685]
  本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。 得られたプロジェクションは、リッチな意味情報を含み、それらの間の接続を描画し、スパース検索を行う。
  論文  参考訳（メタデータ） (2022-12-20T16:03:25Z)
• Improving VAE-based Representation Learning [26.47244578124654]
  優れた表現にはどのような特性が必要か,また異なるVAE構造選択が学習特性に与える影響について検討する。 ローカルな特徴を学習するデコーダを使用することで、残りのグローバルな特徴を潜伏者によってうまく捉えられることを示す。
  論文  参考訳（メタデータ） (2022-05-28T23:00:18Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Consistency Regularization for Variational Auto-Encoders [14.423556966548544]
  変分自動エンコーダ(VAE)は教師なし学習の強力なアプローチである。 本稿では,VAEの整合性を強制する正規化手法を提案する。
  論文  参考訳（メタデータ） (2021-05-31T10:26:32Z)
• Diffusion-Based Representation Learning [65.55681678004038]
  教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。 対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。 同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
  論文  参考訳（メタデータ） (2021-05-29T09:26:02Z)
• Hierarchical Variational Autoencoder for Visual Counterfactuals [79.86967775454316]
  条件変量オート(VAE)は、説明可能な人工知能(XAI)ツールとして注目されている。 本稿では, 後部の効果がいかに緩和され, 対物的効果が成功するかを示す。 本稿では,アプリケーション内の分類器を視覚的に監査できる階層型VAEについて紹介する。
  論文  参考訳（メタデータ） (2021-02-01T14:07:11Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。