論文の概要: Progressive Learning and Disentanglement of Hierarchical Representations
- arxiv url: http://arxiv.org/abs/2002.10549v1
- Date: Mon, 24 Feb 2020 21:19:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 02:44:28.699963
- Title: Progressive Learning and Disentanglement of Hierarchical Representations
- Title（参考訳）: 階層的表現の進歩的学習と絡み合い
- Authors: Zhiyuan Li, Jaideep Vitthal Murkute, Prashnna Kumar Gyawali and Linwei
Wang
- Abstract要約: 本稿では,ハイレベルから低レベルの抽象化から,独立した階層表現を段階的に学習する戦略を提案する。
提案したモデルが既存の作品と比較して歪みを改善する能力について定量的に示す。
- 参考スコア（独自算出の注目度）: 10.201945347770643
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning rich representation from data is an important task for deep
generative models such as variational auto-encoder (VAE). However, by
extracting high-level abstractions in the bottom-up inference process, the goal
of preserving all factors of variations for top-down generation is compromised.
Motivated by the concept of "starting small", we present a strategy to
progressively learn independent hierarchical representations from high- to
low-levels of abstractions. The model starts with learning the most abstract
representation, and then progressively grow the network architecture to
introduce new representations at different levels of abstraction. We
quantitatively demonstrate the ability of the presented model to improve
disentanglement in comparison to existing works on two benchmark data sets
using three disentanglement metrics, including a new metric we proposed to
complement the previously-presented metric of mutual information gap. We
further present both qualitative and quantitative evidence on how the
progression of learning improves disentangling of hierarchical representations.
By drawing on the respective advantage of hierarchical representation learning
and progressive learning, this is to our knowledge the first attempt to improve
disentanglement by progressively growing the capacity of VAE to learn
hierarchical representations.
- Abstract（参考訳）: データから豊かな表現を学ぶことは、可変オートエンコーダ(VAE)のような深層生成モデルにとって重要なタスクである。
しかし、ボトムアップ推論プロセスにおいて高レベルな抽象化を抽出することにより、トップダウン生成のバリエーションのすべての要因を保存するという目標が損なわれる。
小さく始める」という概念に動機づけられた我々は、ハイレベルからローレベルな抽象概念から独立した階層表現を段階的に学習する戦略を提示する。
モデルはまず最も抽象的な表現を学び、その後徐々にネットワークアーキテクチャを成長させ、異なる抽象レベルで新しい表現を導入する。
提案手法は,従来の2つのベンチマークデータセットと比較して,従来提案されていた情報ギャップの指標を補完する新たな指標を含む,3つのアンタングルメント指標を用いて,アンタングルメントを改善する能力について定量的に検証した。
さらに,学習の進歩が階層的表現の分離をいかに改善するかの質的,定量的な証拠を提示する。
階層的表現学習とプログレッシブ・ラーニングのそれぞれの利点を浮き彫りにすることで、この知識は階層的表現を徐々に学習するvaeの能力を増大させることで、絡み合いを改善する最初の試みである。
関連論文リスト
- Dual Consolidation for Pre-Trained Model-Based Domain-Incremental Learning [64.1745161657794]
ドメイン・インクリメンタル・ラーニング(ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、Domain-Incremental Learning、DIL)は、異なるドメインにまたがる新しい概念へのモデルの漸進的な適応を含む。
プレトレーニングモデルの最近の進歩は、DILの確かな基盤を提供する。
しかし、新しい概念を学ぶことは、しばしば、事前訓練された知識を破滅的に忘れてしまう。
本稿では,歴史的知識の統一と統合を図るために,デュアルコンソリデータティオン(ドゥクト)を提案する。
論文 参考訳（メタデータ） (2024-10-01T17:58:06Z) - A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。
自己教師型学習のための生成潜在変数モデルを提案する。
対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文 参考訳（メタデータ） (2024-02-02T13:31:17Z) - Self-supervised Learning of Dense Hierarchical Representations for Medical Image Segmentation [2.2265038612930663]
本稿では,高密度下流タスクに適したボクセルワイド粗い表現を学習するための自己教師型フレームワークについて述べる。
我々は、複数のスケールから機能のコントリビューションのバランスをとるためのトレーニング戦略を考案し、学習された表現が粗い詳細ときめ細かい詳細の両方を捉えることを保証する。
論文 参考訳（メタデータ） (2024-01-12T09:47:17Z) - Flow Factorized Representation Learning [109.51947536586677]
本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。
本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
論文 参考訳（メタデータ） (2023-09-22T20:15:37Z) - Multi-View Class Incremental Learning [57.14644913531313]
マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。
本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
論文 参考訳（メタデータ） (2023-06-16T08:13:41Z) - Integrating Contrastive Learning with Dynamic Models for Reinforcement
Learning from Images [31.413588478694496]
我々は、学習した埋め込みのマルコビアン性を明確に改善することが望ましいと論じている。
コントラスト学習と動的モデルを統合する自己教師付き表現学習法を提案する。
論文 参考訳（メタデータ） (2022-03-02T14:39:17Z) - Online Deep Learning based on Auto-Encoder [4.128388784932455]
オートエンコーダ(ODLAE)に基づく2段階オンライン深層学習を提案する。
復元損失を考慮した自動エンコーダを用いて,インスタンスの階層的潜在表現を抽出する。
我々は,各隠れ層の分類結果を融合して得られる出力レベル融合戦略と,隠れ層の出力を融合させる自己保持機構を利用した特徴レベル融合戦略の2つの融合戦略を考案した。
論文 参考訳（メタデータ） (2022-01-19T02:14:57Z) - DER: Dynamically Expandable Representation for Class Incremental
Learning [30.573653645134524]
適応型視覚知能の実現に向けた中核的なステップであるクラスインクリメンタル学習の課題に対処する。
より効果的なインクリメンタルな概念モデリングに動的に拡張可能な表現を利用する新しい2段階学習手法を提案する。
我々は,3種類のインクリメンタル学習ベンチマークを広範囲に実験し,その手法が他の手法よりも高いマージンを示した。
論文 参考訳（メタデータ） (2021-03-31T03:16:44Z) - Two-Level Adversarial Visual-Semantic Coupling for Generalized Zero-shot
Learning [21.89909688056478]
トレーニング中に推論ネットワークを用いて生成ネットワークを増強する2段階のジョイントアイデアを提案する。
これにより、ビジュアルドメインとセマンティックドメイン間の効果的な知識伝達のための強力な相互モーダル相互作用が提供される。
提案手法は,4つのベンチマークデータセットに対して,いくつかの最先端手法に対して評価し,その性能を示す。
論文 参考訳（メタデータ） (2020-07-15T15:34:09Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳（メタデータ） (2020-07-14T22:04:17Z) - High-Fidelity Synthesis with Disentangled Representation [60.19657080953252]
本稿では,不整合学習と高忠実度合成のためのID-GAN(Information-Distillation Generative Adrial Network)を提案する。
提案手法は, VAEモデルを用いて非交叉表現を学習し, 高忠実度合成のためのGAN生成器に追加のニュアンス変数で学習表現を蒸留する。
単純さにもかかわらず,提案手法は高効率であり,不整合表現を用いた最先端の手法に匹敵する画像生成品質を実現する。
論文 参考訳（メタデータ） (2020-01-13T14:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。