論文の概要: Universal Approximation for Log-concave Distributions using
Well-conditioned Normalizing Flows
- arxiv url: http://arxiv.org/abs/2107.02951v1
- Date: Wed, 7 Jul 2021 00:13:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-08 14:13:50.077968
- Title: Universal Approximation for Log-concave Distributions using
Well-conditioned Normalizing Flows
- Title（参考訳）: 良条件正規化流れを用いた対数凹面分布の普遍近似
- Authors: Holden Lee, Chirag Pabbaraju, Anish Sevekari, Andrej Risteski
- Abstract要約: 本研究では, 対数凹面分布をよく条件付きアフィンカップリング流を用いて近似できることを示す。
また,アフィンカップリングの訓練の実践についても報告する。
- 参考スコア（独自算出の注目度）: 20.022920482589324
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Normalizing flows are a widely used class of latent-variable generative
models with a tractable likelihood. Affine-coupling (Dinh et al, 2014-16)
models are a particularly common type of normalizing flows, for which the
Jacobian of the latent-to-observable-variable transformation is triangular,
allowing the likelihood to be computed in linear time. Despite the widespread
usage of affine couplings, the special structure of the architecture makes
understanding their representational power challenging. The question of
universal approximation was only recently resolved by three parallel papers
(Huang et al.,2020;Zhang et al.,2020;Koehler et al.,2020) -- who showed
reasonably regular distributions can be approximated arbitrarily well using
affine couplings -- albeit with networks with a nearly-singular Jacobian. As
ill-conditioned Jacobians are an obstacle for likelihood-based training, the
fundamental question remains: which distributions can be approximated using
well-conditioned affine coupling flows?
In this paper, we show that any log-concave distribution can be approximated
using well-conditioned affine-coupling flows. In terms of proof techniques, we
uncover and leverage deep connections between affine coupling architectures,
underdamped Langevin dynamics (a stochastic differential equation often used to
sample from Gibbs measures) and H\'enon maps (a structured dynamical system
that appears in the study of symplectic diffeomorphisms). Our results also
inform the practice of training affine couplings: we approximate a padded
version of the input distribution with iid Gaussians -- a strategy which
Koehler et al.(2020) empirically observed to result in better-conditioned
flows, but had hitherto no theoretical grounding. Our proof can thus be seen as
providing theoretical evidence for the benefits of Gaussian padding when
training normalizing flows.
- Abstract（参考訳）: 正規化フローは、抽出可能な可能性を持つ潜在変数生成モデルの広く使われているクラスである。
affine-coupling (dinh et al, 2014-16) モデルは特に一般的な正規化フローの一種であり、潜在可観測変量変換のヤコビアンは三角形であり、線形時間で計算できる。
アフィンカップリングが広く使われているにもかかわらず、アーキテクチャの特別な構造は、その表現力を理解することを困難にしている。
普遍近似の問題は、最近3つの平行論文(huang et al.,2020;zhang et al.,2020;koehler et al.,2020)によって解決された。
不条件ヤコビアンが確率に基づく訓練の障害となるため、基本的な疑問は残る: どの分布をよく条件付きアフィンカップリングフローを用いて近似することができるか?
本稿では, 良好なアフィン結合流を用いて, 対数凹面分布を近似できることを示す。
証明技法の観点からは、アフィンカップリング・アーキテクチャー、アンダーガムド・ランジュバン・ダイナミクス(ギブス測度からサンプルするためにしばしば用いられる確率微分方程式)とh\'enon写像(シンプレクティック微分同相写像の研究で現れる構造化力学系)の深い関係を解明し、活用する。
我々は入力分布のパッド化バージョンを iid Gaussian と近似する -- Koehler らによる戦略である。
(2020) 条件が良くなると実験的に観測されたが, 理論的根拠は得られなかった。
したがって,本証明は正規化フローの訓練におけるガウスパディングの利点に関する理論的証拠となる。
関連論文リスト
- Rectified Diffusion Guidance for Conditional Generation [62.00207951161297]
CFGの背後にある理論を再検討し、組合せ係数の不適切な構成(すなわち、広く使われている和対1バージョン)が生成分布の期待シフトをもたらすことを厳密に確認する。
本稿では,誘導係数を緩和したReCFGを提案する。
このようにして、修正された係数は観測されたデータをトラバースすることで容易に事前計算でき、サンプリング速度はほとんど影響を受けない。
論文 参考訳（メタデータ） (2024-10-24T13:41:32Z) - Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。
最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。
RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
論文 参考訳（メタデータ） (2024-10-19T02:36:11Z) - Applications of flow models to the generation of correlated lattice QCD ensembles [69.18453821764075]
機械学習された正規化フローは、格子量子場理論の文脈で、異なる作用パラメータで格子ゲージ場の統計的に相関したアンサンブルを生成するために用いられる。
本研究は,これらの相関を可観測物の計算における分散低減に活用する方法を実証する。
論文 参考訳（メタデータ） (2024-01-19T18:33:52Z) - Generalized Schrödinger Bridge Matching [54.171931505066]
一般化Schr"odinger Bridge (GSB) 問題設定は、機械学習の内外を問わず、多くの科学領域で一般的である。
我々は最近の進歩に触発された新しいマッチングアルゴリズムである一般化シュリンガーブリッジマッチング(GSBM)を提案する。
このような一般化は条件最適制御の解法として、変分近似を用いることができることを示す。
論文 参考訳（メタデータ） (2023-10-03T17:42:11Z) - Normalizing flow sampling with Langevin dynamics in the latent space [12.91637880428221]
正規化フロー(NF)は、連続生成器を使用して、単純な潜伏分布(例えばガウス分布)をトレーニングデータセットに関連する経験的対象分布にマッピングする。
標準NFは可微分写像を実装しているため、複雑な分布を対象とする場合、病理学的挙動に悩まされることがある。
本稿では,マルコフ連鎖モンテカルロアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-05-20T09:31:35Z) - Whitening Convergence Rate of Coupling-based Normalizing Flows [1.1279808969568252]
既存の研究は、そのような流れが任意のデータ分布に弱収束していることを示している。
すべての結合型正規化フローがデータ分布の白化を行うことを示す。
流れの深さに線形収束率を示す対応する収束境界を導出する。
論文 参考訳（メタデータ） (2022-10-25T14:10:34Z) - Equivariant Discrete Normalizing Flows [10.867162810786361]
離散層を用いた等変正規化フローの構築に着目する。
2つの新しい同変フロー:$G$-カップリングフローと$G$-Residualフローを導入する。
我々の構成である$G$-Residual Flowsも普遍的であり、$G$-equivariant diffeomorphismが$G$-Residual Flowによって正確にマッピング可能であることを証明している。
論文 参考訳（メタデータ） (2021-10-16T20:16:00Z) - Deep Archimedean Copulas [98.96141706464425]
ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。
我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
論文 参考訳（メタデータ） (2020-12-05T22:58:37Z) - Representational aspects of depth and conditioning in normalizing flows [33.4333537858003]
私たちは、分割の選択が深さのボトルネックではないことを表現的に示しています。
また、浅いアフィンカップリングネットワークはワッサーシュタイン距離の普遍近似器であることを示す。
論文 参考訳（メタデータ） (2020-10-02T18:15:45Z) - Gaussianization Flows [113.79542218282282]
そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。
この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
論文 参考訳（メタデータ） (2020-03-04T08:15:06Z) - Latent Variable Modelling with Hyperbolic Normalizing Flows [35.1659722563025]
双曲型VAEとユークリッド正規化流に新しい正規化フローを導入する。
提案手法は,実世界のグラフデータの再構成とともに,密度推定の性能向上を実現する。
論文 参考訳（メタデータ） (2020-02-15T07:44:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。