論文の概要: The Effects of Invertibility on the Representational Complexity of Encoders in Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2107.04652v1
• Date: Fri, 9 Jul 2021 19:53:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-13 16:14:14.447444
• Title: The Effects of Invertibility on the Representational Complexity of Encoders in Variational Autoencoders
• Title（参考訳）: 変分オートエンコーダにおけるエンコーダの表現複雑性に及ぼす可逆性の影響
• Authors: Divyansh Pareek, Andrej Risteski
• Abstract要約: 生成写像が「強可逆(strongly invertible)」であれば、推論モデルはそれほど複雑ではないことを示す。 重要なのは、生成モデルが階層的に可逆である必要はないということです。 低次元多様体上にデータを置くと、深層生成モデルの学習が難しくなるという経験的知恵を理論的に支持する。
• 参考スコア（独自算出の注目度）: 16.27499951949733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training and using modern neural-network based latent-variable generative models (like Variational Autoencoders) often require simultaneously training a generative direction along with an inferential(encoding) direction, which approximates the posterior distribution over the latent variables. Thus, the question arises: how complex does the inferential model need to be, in order to be able to accurately model the posterior distribution of a given generative model? In this paper, we identify an important property of the generative map impacting the required size of the encoder. We show that if the generative map is "strongly invertible" (in a sense we suitably formalize), the inferential model need not be much more complex. Conversely, we prove that there exist non-invertible generative maps, for which the encoding direction needs to be exponentially larger (under standard assumptions in computational complexity). Importantly, we do not require the generative model to be layerwise invertible, which a lot of the related literature assumes and isn't satisfied by many architectures used in practice (e.g. convolution and pooling based networks). Thus, we provide theoretical support for the empirical wisdom that learning deep generative models is harder when data lies on a low-dimensional manifold.
• Abstract（参考訳）: 現代のニューラルネットワークに基づく潜在変数生成モデル(変分オートエンコーダなど)のトレーニングと使用には、しばしば、潜在変数の後方分布を近似する推論(エンコード)方向とともに生成方向の訓練を同時に行う必要がある。 与えられた生成モデルの後方分布を正確にモデル化するために、推論モデルはどの程度複雑でなければならないのか? 本稿では,エンコーダの必要なサイズに影響を及ぼす生成写像の重要な特性を同定する。 生成写像が「強可逆(strongly invertible)」ならば(ある意味では、適切に形式化できる)、推論モデルはそれほど複雑ではない。 逆に、エンコーディング方向が指数関数的に大きい(計算複雑性の標準的な仮定の下で)必要となる非可逆生成写像が存在することを証明する。 重要なことは、生成モデルは階層的に非可逆である必要はなく、関係する文献の多くが想定し、実際に使用される多くのアーキテクチャ(例えば、)に満足していない。 畳み込みとプールベースのネットワーク)。 したがって、低次元多様体上にデータを置くと、深層生成モデルの学習が困難であるという経験的知恵を理論的に支持する。

関連論文リスト

• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Entropy optimized semi-supervised decomposed vector-quantized variational autoencoder model based on transfer learning for multiclass text classification and generation [3.9318191265352196]
  多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。 提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。 実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
  論文  参考訳（メタデータ） (2021-11-10T07:07:54Z)
• Learning Disentangled Latent Factors from Paired Data in Cross-Modal Retrieval: An Implicit Identifiable VAE Approach [33.61751393224223]
  両モーダルデータ間で相互に共有される不整合潜在因子を相互に検索する際の問題に対処する。 本稿では,潜在変数モデルから周辺データデコードモジュールを完全に除去する暗黙デコーダの新たなアイデアを提案する。 本モデルでは,従来のエンコーダ・デコーダの潜在変数モデルよりも精度が高く,精度も優れていた。
  論文  参考訳（メタデータ） (2020-12-01T17:47:50Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• When and How Can Deep Generative Models be Inverted? [28.83334026125828]
  近年, 深部生成モデル (GAN, VAE) が盛んに開発されている。 我々は、そのような生成モデルが可逆である任意の逆アルゴリズム(漸進降下、ディープエンコーダなど)に適用可能な条件を定義する。 本手法は, クリーン信号と劣化信号の両方に対して, 発生器を反転させる際の勾配勾配よりも優れることを示す。
  論文  参考訳（メタデータ） (2020-06-28T09:37:52Z)
• Disentanglement by Nonlinear ICA with General Incompressible-flow Networks (GIN) [30.74691299906988]
  表現学習の中心的な問題は、任意の複雑な生成過程の真の潜伏変数をどの条件で再構築できるかを問うものである。 Khehemらによる非線形ICAに関する最近の画期的な研究は、この疑問に幅広い条件生成過程のクラスで答えている。 我々は、この重要な結果を現実世界のデータへの応用に関係した方向に拡張する。
  論文  参考訳（メタデータ） (2020-01-14T16:25:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。