論文の概要: Improving VAE-based Representation Learning
- arxiv url: http://arxiv.org/abs/2205.14539v1
- Date: Sat, 28 May 2022 23:00:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-31 14:09:05.496891
- Title: Improving VAE-based Representation Learning
- Title(参考訳): VAEに基づく表現学習の改善
- Authors: Mingtian Zhang and Tim Z. Xiao and Brooks Paige and David Barber
- Abstract要約: 優れた表現にはどのような特性が必要か,また異なるVAE構造選択が学習特性に与える影響について検討する。
ローカルな特徴を学習するデコーダを使用することで、残りのグローバルな特徴を潜伏者によってうまく捉えられることを示す。
- 参考スコア(独自算出の注目度): 26.47244578124654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Latent variable models like the Variational Auto-Encoder (VAE) are commonly
used to learn representations of images. However, for downstream tasks like
semantic classification, the representations learned by VAE are less
competitive than other non-latent variable models. This has led to some
speculations that latent variable models may be fundamentally unsuitable for
representation learning. In this work, we study what properties are required
for good representations and how different VAE structure choices could affect
the learned properties. We show that by using a decoder that prefers to learn
local features, the remaining global features can be well captured by the
latent, which significantly improves performance of a downstream classification
task. We further apply the proposed model to semi-supervised learning tasks and
demonstrate improvements in data efficiency.
- Abstract(参考訳): 変分オートエンコーダ(VAE)のような潜在変数モデルは、画像の表現を学習するために一般的に使用される。
しかしながら、セマンティック分類のような下流タスクでは、VAEが学習した表現は他の非ラテント変数モデルよりも競争力が少ない。
これは、潜在変数モデルが表現学習に基本的に不適当であるかもしれないという憶測を導いた。
本研究では, 優れた表現に必要な特性と, 異なるVAE構造選択が学習特性に与える影響について検討する。
局所的な特徴を学習するデコーダを使用することで、残余のグローバルな特徴を潜伏者によってうまく捉え、下流の分類タスクの性能を大幅に向上させることができることを示す。
さらに,提案モデルを半教師付き学習タスクに適用し,データ効率の向上を示す。
関連論文リスト
- Flow Factorized Representation Learning [109.51947536586677]
本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。
本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
論文 参考訳(メタデータ) (2023-09-22T20:15:37Z) - MT-SLVR: Multi-Task Self-Supervised Learning for Transformation
In(Variant) Representations [2.94944680995069]
本稿では,パラメータ効率のよいマルチタスク型自己教師型フレームワーク(MT-SLVR)を提案する。
我々は,様々な音声領域から抽出された数ショットの分類タスクに対するアプローチを評価し,分類性能の向上を実証した。
論文 参考訳(メタデータ) (2023-05-29T09:10:50Z) - Interpretable Sentence Representation with Variational Autoencoders and
Attention [0.685316573653194]
自然言語処理(NLP)における近年の表現学習技術の解釈可能性を高める手法を開発した。
変動オートエンコーダ (VAEs) は, 遅延生成因子の観測に有効である。
帰納的バイアスを持つ2つのモデルを構築し、潜在表現の情報を注釈付きデータなしで理解可能な概念に分離する。
論文 参考訳(メタデータ) (2023-05-04T13:16:15Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳(メタデータ) (2022-05-21T19:49:04Z) - An Empirical Investigation of Representation Learning for Imitation [76.48784376425911]
視覚、強化学習、NLPにおける最近の研究は、補助的な表現学習の目的が、高価なタスク固有の大量のデータの必要性を減らすことを示している。
本稿では,表現学習アルゴリズムを構築するためのモジュラーフレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-16T11:23:42Z) - High Fidelity Visualization of What Your Self-Supervised Representation
Knows About [22.982471878833362]
本研究では,条件拡散に基づく生成モデル(RCDM)を用いて,自己教師付きモデルを用いて学習した表現を可視化する。
このモデルの生成品質は、条件付けとして使われる表現に忠実でありながら、最先端の生成モデルとどのように同等かを示す。
論文 参考訳(メタデータ) (2021-12-16T19:23:33Z) - Revisiting Contrastive Methods for Unsupervised Learning of Visual
Representations [78.12377360145078]
対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。
本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。
現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
論文 参考訳(メタデータ) (2021-06-10T17:59:13Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳(メタデータ) (2021-03-01T21:14:33Z) - Demystifying Contrastive Self-Supervised Learning: Invariances,
Augmentations and Dataset Biases [34.02639091680309]
近年のパフォーマンス向上は、インスタンス分類モデルをトレーニングし、各イメージを扱い、拡張バージョンを単一のクラスのサンプルとして扱うことで実現している。
我々は,MOCO や PIRL のようなアプローチがオクルージョン不変表現を学習することを示した。
第2に、Imagenetのようなクリーンなオブジェクト中心のトレーニングデータセットにアクセスすることで、これらのアプローチがさらに利益を得ることを示す。
論文 参考訳(メタデータ) (2020-07-28T00:11:31Z) - Guided Variational Autoencoder for Disentanglement Learning [79.02010588207416]
本稿では,潜在表現非絡み合い学習を行うことで,制御可能な生成モデルを学習できるアルゴリズム,Guided-VAEを提案する。
我々は、ガイド-VAEにおける教師なし戦略と教師なし戦略を設計し、バニラVAE上でのモデリングと制御能力の強化を観察する。
論文 参考訳(メタデータ) (2020-04-02T20:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。