論文の概要: Jacobian Determinant of Normalizing Flows

• arxiv url: http://arxiv.org/abs/2102.06539v1
• Date: Fri, 12 Feb 2021 14:09:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-16 00:54:04.598104
• Title: Jacobian Determinant of Normalizing Flows
• Title（参考訳）: 正規化流れのヤコブ式決定因子
• Authors: Huadong Liao and Jiawei He
• Abstract要約: 正規化フローは、ターゲットとベース分布の間の微分同相写像を学習する。 その写像のジャコビアン行列は別の実値関数を形成する。 正規化フロートレーニングを安定させるためには,体積の膨張性と収縮とのバランスを維持する必要がある。
• 参考スコア（独自算出の注目度）: 7.124391555099448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Normalizing flows learn a diffeomorphic mapping between the target and base distribution, while the Jacobian determinant of that mapping forms another real-valued function. In this paper, we show that the Jacobian determinant mapping is unique for the given distributions, hence the likelihood objective of flows has a unique global optimum. In particular, the likelihood for a class of flows is explicitly expressed by the eigenvalues of the auto-correlation matrix of individual data point, and independent of the parameterization of neural network, which provides a theoretical optimal value of likelihood objective and relates to probabilistic PCA. Additionally, Jacobian determinant is a measure of local volume change and is maximized when MLE is used for optimization. To stabilize normalizing flows training, it is required to maintain a balance between the expansiveness and contraction of volume, meaning Lipschitz constraint on the diffeomorphic mapping and its inverse. With these theoretical results, several principles of designing normalizing flow were proposed. And numerical experiments on highdimensional datasets (such as CelebA-HQ 1024x1024) were conducted to show the improved stability of training.
• Abstract（参考訳）: 正規化フローはターゲットとベース分布の間の微分型写像を学習し、その写像のヤコブ行列は別の実値関数を形成する。 本稿では,ヤコビ行列型写像が与えられた分布に対して一意であることを示す。 特に、フローのクラスの可能性は、個々のデータポイントの自動相関行列の固有値によって明示的に表現され、確率目標の理論的最適値を提供し、確率的PCAに関連するニューラルネットワークのパラメータ化とは独立している。 さらに、ヤコビ行列式は局所的な体積変化の尺度であり、MLEを最適化に使用すると最大化される。 流れの正規化を安定させるためには、体積の膨張性と収縮のバランスを維持することが必要であり、これは二相写像とその逆写像に対するリプシッツ制約を意味する。 これらの理論により、正規化フローを設計するいくつかの原則が提案された。 また,高次元データセット(celeba-hq 1024x1024など)の数値実験を行い,トレーニングの安定性について検討した。

関連論文リスト

• Injective flows for star-like manifolds [1.4623202528810306]
  我々は、星状多様体密度に対して、NFsと同じコストで、ジャコビアン行列式を正確かつ効率的に計算できることを示します。 これは特に、サンプルが入手できず、正規化されていないターゲットのみが知られているような変動推論設定に関係している。
  論文  参考訳（メタデータ） (2024-06-13T13:43:59Z)
• Convex Parameter Estimation of Perturbed Multivariate Generalized Gaussian Distributions [18.95928707619676]
  本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。 提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。 実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
  論文  参考訳（メタデータ） (2023-12-12T18:08:04Z)
• Bayesian Renormalization [68.8204255655161]
  ベイズ統計的推論にインスパイアされた再正規化に対する完全情報理論的アプローチを提案する。 ベイズ再正規化の主な洞察は、フィッシャー計量が創発的RGスケールの役割を担う相関長を定義することである。 本研究では,ベイズ正規化方式が既存のデータ圧縮法やデータ生成法とどのように関係しているかを考察する。
  論文  参考訳（メタデータ） (2023-05-17T18:00:28Z)
• Variational Microcanonical Estimator [0.0]
  固有状態熱化仮説に従うモデルにおけるマイクロカノニカル期待値を推定するための変分量子アルゴリズムを提案する。 次に変動状態のアンサンブルを用いて局所作用素のマイクロカノニカル平均を推定する。
  論文  参考訳（メタデータ） (2023-01-10T18:53:24Z)
• Nonlinear Isometric Manifold Learning for Injective Normalizing Flows [58.720142291102135]
  アイソメトリーを用いて、多様体学習と密度推定を分離する。 また、確率分布を歪ませない明示的な逆数を持つ埋め込みを設計するためにオートエンコーダを用いる。
  論文  参考訳（メタデータ） (2022-03-08T08:57:43Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows [78.77808270452974]
  SurVAE Flowsは、VAEと正規化フローを含む構成可能な変換のためのモジュラーフレームワークである。 提案手法は,SurVAE フローとして表現できることが示唆された。
  論文  参考訳（メタデータ） (2020-07-06T13:13:22Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。