論文の概要: How good are variational autoencoders at transfer learning?

• arxiv url: http://arxiv.org/abs/2304.10767v1
• Date: Fri, 21 Apr 2023 06:32:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-24 15:38:56.528962
• Title: How good are variational autoencoders at transfer learning?
• Title（参考訳）: トランスファー学習における変分オートエンコーダはどの程度優れているか?
• Authors: Lisa Bonheme, Marek Grzes
• Abstract要約: 私たちは、異なるデータセットでトレーニングされたVAEの類似性を評価するために、Centred Kernel Alignmentを使用します。 本稿では,VAEのどのコンポーネントを再訓練するかを選択することの意味について論じるとともに,伝達学習が分類タスクに役立つかどうかを視覚的に評価する手法を提案する。
• 参考スコア（独自算出の注目度）: 2.969705152497174
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Variational autoencoders (VAEs) are used for transfer learning across various research domains such as music generation or medical image analysis. However, there is no principled way to assess before transfer which components to retrain or whether transfer learning is likely to help on a target task. We propose to explore this question through the lens of representational similarity. Specifically, using Centred Kernel Alignment (CKA) to evaluate the similarity of VAEs trained on different datasets, we show that encoders' representations are generic but decoders' specific. Based on these insights, we discuss the implications for selecting which components of a VAE to retrain and propose a method to visually assess whether transfer learning is likely to help on classification tasks.
• Abstract（参考訳）: 変分オートエンコーダ (VAE) は、音楽生成や医用画像解析などの様々な研究領域における伝達学習に用いられる。 しかし、どのコンポーネントをリトレーニングするか、あるいは移行学習が目的のタスクに役立ちそうなのかを、移行前に評価する原則的な方法はない。 我々はこの問題を表現的類似性のレンズを通して探求する。 具体的には、CKA(Central Kernel Alignment)を用いて、異なるデータセットでトレーニングされたVAEの類似性を評価することにより、エンコーダの表現が汎用的であるがデコーダ特有のものであることを示す。 これらの知見に基づいて,VAEのどのコンポーネントを再訓練するかを選択することの意味を考察し,伝達学習が分類タスクに役立つかどうかを視覚的に評価する手法を提案する。

関連論文リスト

• With a Little Help from your own Past: Prototypical Memory Networks for Image Captioning [47.96387857237473]
  我々は、他のトレーニングサンプルを処理しながら得られたアクティベーションに注意を向けるネットワークを考案した。 私たちのメモリは、プロトタイプベクトルの定義を通じて過去のキーと値の分布をモデル化します。 本研究では,エンコーダ・デコーダ変換器の性能を3.7 CIDErポイント向上できることを示す。
  論文  参考訳（メタデータ） (2023-08-23T18:53:00Z)
• Explaining Cross-Domain Recognition with Interpretable Deep Classifier [100.63114424262234]
  解釈可能なDeep(IDC)は、ターゲットサンプルの最も近いソースサンプルを、分類器が決定を下す証拠として学習する。 我々のIDCは、精度の劣化がほとんどなく、最適なリジェクションオプションの分類を効果的に調整する、より説明可能なモデルに導かれる。
  論文  参考訳（メタデータ） (2022-11-15T15:58:56Z)
• How do Variational Autoencoders Learn? Insights from Representational Similarity [2.969705152497174]
  本研究では,変分オートエンコーダ(VAE)の内部挙動を表現的類似性手法を用いて検討する。 CKAとProcrustesの類似性を用いて,エンコーダの表現はデコーダよりもずっと前から学習されていることがわかった。
  論文  参考訳（メタデータ） (2022-05-17T14:31:57Z)
• Visual Transformer for Task-aware Active Learning [49.903358393660724]
  プールベースのアクティブラーニングのための新しいパイプラインを提案する。 提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。 ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
  論文  参考訳（メタデータ） (2021-06-07T17:13:59Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Simple and Effective VAE Training with Calibrated Decoders [123.08908889310258]
  変分オートエンコーダ(VAE)は、複雑な分布をモデル化するための効果的で簡単な方法である。 復号分布の不確かさを学習する校正復号器の影響について検討する。 本稿では,一般的なガウス復号器の簡易かつ斬新な修正を提案し,その予測分散を解析的に計算する。
  論文  参考訳（メタデータ） (2020-06-23T17:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。