論文の概要: SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows

• arxiv url: http://arxiv.org/abs/2007.02731v2
• Date: Fri, 30 Oct 2020 17:08:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 01:23:47.121056
• Title: SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows
• Title（参考訳）: SurVAEの流れ:VAEと流れの間のギャップを橋渡しする試み
• Authors: Didrik Nielsen, Priyank Jaini, Emiel Hoogeboom, Ole Winther, Max Welling
• Abstract要約: SurVAE Flowsは、VAEと正規化フローを含む構成可能な変換のためのモジュラーフレームワークである。 提案手法は,SurVAE フローとして表現できることが示唆された。
• 参考スコア（独自算出の注目度）: 78.77808270452974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normalizing flows and variational autoencoders are powerful generative models that can represent complicated density functions. However, they both impose constraints on the models: Normalizing flows use bijective transformations to model densities whereas VAEs learn stochastic transformations that are non-invertible and thus typically do not provide tractable estimates of the marginal likelihood. In this paper, we introduce SurVAE Flows: A modular framework of composable transformations that encompasses VAEs and normalizing flows. SurVAE Flows bridge the gap between normalizing flows and VAEs with surjective transformations, wherein the transformations are deterministic in one direction -- thereby allowing exact likelihood computation, and stochastic in the reverse direction -- hence providing a lower bound on the corresponding likelihood. We show that several recently proposed methods, including dequantization and augmented normalizing flows, can be expressed as SurVAE Flows. Finally, we introduce common operations such as the max value, the absolute value, sorting and stochastic permutation as composable layers in SurVAE Flows.
• Abstract（参考訳）: 流れの正規化と変分オートエンコーダは、複雑な密度関数を表現できる強力な生成モデルである。 しかし、どちらもモデルに制約を課す: 正規化フローはモデル密度に単射変換を使用するのに対し、VAEは非可逆な確率変換を学習するので、通常は限界確率の抽出可能な推定を与えない。 本稿では,VAE と正規化フローを含む構成可能な変換のモジュラーフレームワークである SurVAE Flows を紹介する。 サーベイ流(survae flow)は、正規化フローとvaesの間のギャップを全射変換で橋渡しし、そこでは変換は一方向に決定論的であり、それによって正確な確率計算が可能となり、逆方向に確率的になる。 数値化や拡張正規化といった最近提案された手法のいくつかは, サーベイ流として表現できることを示した。 最後に,SurVAEフローの構成可能な層として,最大値,絶対値,ソート,確率置換などの共通演算を導入する。

関連論文リスト

• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Sinusoidal Flow: A Fast Invertible Autoregressive Flow [0.0]
  完全自己回帰フローから表現力と三角ヤコビアンを継承する新しいタイプの正規化フローを提案する。 実験の結果、我々の正弦波流は複雑な分布をモデル化できるだけでなく、現実的なサンプルを生成するために確実に逆転できることがわかった。
  論文  参考訳（メタデータ） (2021-10-26T01:20:29Z)
• Equivariant Discrete Normalizing Flows [10.867162810786361]
  離散層を用いた等変正規化フローの構築に着目する。 2つの新しい同変フロー:$G$-カップリングフローと$G$-Residualフローを導入する。 我々の構成である$G$-Residual Flowsも普遍的であり、$G$-equivariant diffeomorphismが$G$-Residual Flowによって正確にマッピング可能であることを証明している。
  論文  参考訳（メタデータ） (2021-10-16T20:16:00Z)
• Stochastic Normalizing Flows for Inverse Problems: a Markov Chains Viewpoint [0.45119235878273]
  マルコフ連鎖の観点からのフローの正規化を考える。 遷移密度を一般マルコフ核に置き換え、ラドン-ニコディム微分による証明を確立する。 提案した条件付き正規化フローの性能を数値例で示す。
  論文  参考訳（メタデータ） (2021-09-23T13:44:36Z)
• Generalization of the Change of Variables Formula with Applications to Residual Flows [7.57024681220677]
  正規化フローは可変式の変化を利用してフレキシブル密度モデルを定義する。 一般化変換として $mathcalL$-diffeomorphisms を導入し、これはルベーグ測度集合上のこれらの要求に反する可能性がある。 この緩和により、ReLUのような非滑らかなアクティベーション関数を使用することができる。
  論文  参考訳（メタデータ） (2021-07-09T10:31:32Z)
• Generative Flows with Invertible Attentions [135.23766216657745]
  生成フローモデルに対する2種類の非可逆的注意機構を導入する。 フロー特徴写像の2分割毎に注意重みと入力表現を学習するために,分割に基づく注意機構を利用する。 提案手法は, トラクタブルジャコビアン行列を用いた非可逆アテンションモジュールをフローベースモデルの任意の位置にシームレスに統合する。
  論文  参考訳（メタデータ） (2021-06-07T20:43:04Z)
• The Convolution Exponential and Generalized Sylvester Flows [82.18442368078804]
  本稿では,線形変換の指数関数を取り入れ,線形フローを構築する新しい手法を提案する。 重要な洞察として、指数関数は暗黙的に計算できるため、畳み込み層を使用することができる。 畳み込み指数はCIFAR10上の生成フローにおいて他の線形変換よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-02T19:43:36Z)
• Gaussianization Flows [113.79542218282282]
  そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。 この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
  論文  参考訳（メタデータ） (2020-03-04T08:15:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。