論文の概要: Structure by Architecture: Disentangled Representations without Regularization

• arxiv url: http://arxiv.org/abs/2006.07796v3
• Date: Sun, 4 Jul 2021 11:59:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 09:41:52.384153
• Title: Structure by Architecture: Disentangled Representations without Regularization
• Title（参考訳）: アーキテクチャによる構造:正規化なしのアンタングル表現
• Authors: Felix Leeb, Guilia Lanzillotta, Yashas Annadani, Michel Besserve, Stefan Bauer, Bernhard Sch\"olkopf
• Abstract要約: 本稿では,自動エンコーダを用いた自己教師型表現学習の課題について考察する。 本稿では,潜伏変数の独立性のみに依存するサンプリング手法を提案する。 我々はアグレッシブな正規化を必要とせずに構造化表現を学習できる新しいオートエンコーダアーキテクチャを設計する。
• 参考スコア（独自算出の注目度）: 23.62666286077746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of self-supervised structured representation learning using autoencoders for generative modeling. Unlike most methods which rely on matching an arbitrary, relatively unstructured, prior distribution for sampling, we propose a sampling technique that relies solely on the independence of latent variables, thereby avoiding the trade-off between reconstruction quality and generative performance inherent to VAEs. We design a novel autoencoder architecture capable of learning a structured representation without the need for aggressive regularization. Our structural decoders learn a hierarchy of latent variables, akin to structural causal models, thereby ordering the information without any additional regularization. We demonstrate how these models learn a representation that improves results in a variety of downstream tasks including generation, disentanglement, and extrapolation using several challenging and natural image datasets.
• Abstract（参考訳）: 生成モデルのためのオートエンコーダを用いた自己教師付き構造化表現学習の問題点について検討する。 任意で比較的非構造な事前分布をサンプリングにマッチさせる手法と異なり,潜在変数の独立性のみに依存するサンプリング手法を提案し,vaes固有の再構成品質と生成性能とのトレードオフを回避する。 我々はアグレッシブな正規化を必要とせずに構造化表現を学習できる新しいオートエンコーダアーキテクチャを設計する。 我々の構造デコーダは、構造因果モデルに似た潜在変数の階層構造を学習し、追加の正規化なしに情報を順序付けする。 これらのモデルがどのようにして、生成、歪曲、外挿を含む様々な下流タスクの結果を改善する表現を、困難で自然な画像データセットを用いて学習するかを実証する。

関連論文リスト

• Enhancing Representations through Heterogeneous Self-Supervised Learning [61.40674648939691]
  本稿では,HSSL(Heterogeneous Self-Supervised Learning)を提案する。 HSSLは、構造的変化を伴わない表現学習方式で、ベースモデルに新しい特徴を付与する。 HSSLは、様々な自己教師型メソッドと互換性があり、様々な下流タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-08T10:44:05Z)
• Unbiased Learning of Deep Generative Models with Structured Discrete Representations [7.9057320008285945]
  構造化可変オートエンコーダ(SVAE)の学習のための新しいアルゴリズムを提案する。 我々はSVAEがデータの欠落時に個別の潜伏変数を組み込むことでマルチモーダル不確実性を扱う能力を初めて示す。 メモリ効率の高い暗黙差分法により,SVAEは不完全最適化に対して頑健さを示しつつ,勾配降下により学習しやすくなった。
  論文  参考訳（メタデータ） (2023-06-14T03:59:21Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Understanding Dynamics of Nonlinear Representation Learning and Its Application [12.697842097171119]
  暗黙的非線形表現学習のダイナミクスについて検討する。 我々は,データ構造アライメント条件がグローバル収束に十分であることを示す。 我々はデータ構造アライメント条件を満たす新しいトレーニングフレームワークを作成した。
  論文  参考訳（メタデータ） (2021-06-28T16:31:30Z)
• Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
  複素領域における異なる変動演算子の効果について検討する。 モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
  論文  参考訳（メタデータ） (2021-06-16T17:12:26Z)
• SetVAE: Learning Hierarchical Composition for Generative Modeling of Set-Structured Data [27.274328701618]
  集合の階層的変分オートエンコーダであるSetVAEを提案する。 セットエンコーディングの最近の進歩に動機づけられて、我々は最初にセットを分割し、元のカーディナリティにパーティションを投影する注意深いモジュールの上にSetVAEを構築します。 我々は,本モデルが集合のサイズを示さずに一般化し,監督なしに興味深い部分集合関係を学習できることを実証する。
  論文  参考訳（メタデータ） (2021-03-29T14:01:18Z)
• MOGAN: Morphologic-structure-aware Generative Learning from a Single Image [59.59698650663925]
  近年,1つの画像のみに基づく生成モデルによる完全学習が提案されている。 多様な外観のランダムなサンプルを生成するMOGANというMOrphologic-structure-aware Generative Adversarial Networkを紹介します。 合理的な構造の維持や外観の変化など、内部機能に重点を置いています。
  論文  参考訳（メタデータ） (2021-03-04T12:45:23Z)
• Learning Structured Latent Factors from Dependent Data:A Generative Model Framework from Information-Theoretic Perspective [18.88255368184596]
  本稿では,潜在空間における様々な基盤構造を持つ生成モデル学習のための新しいフレームワークを提案する。 我々のモデルは、様々なタイプの望まれる構造を反映した意味論的に意味のある潜在因子の集合を学習するための原則化されたアプローチを提供する。
  論文  参考訳（メタデータ） (2020-07-21T06:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。