論文の概要: Convex Potential Flows: Universal Probability Distributions with Optimal Transport and Convex Optimization

• arxiv url: http://arxiv.org/abs/2012.05942v2
• Date: Tue, 23 Feb 2021 20:15:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-15 09:41:07.775185
• Title: Convex Potential Flows: Universal Probability Distributions with Optimal Transport and Convex Optimization
• Title（参考訳）: 凸ポテンシャル流:最適輸送と凸最適化を伴う普遍確率分布
• Authors: Chin-Wei Huang, Ricky T. Q. Chen, Christos Tsirigotis, Aaron Courville
• Abstract要約: 本稿では,可逆モデルの自然かつ効率的なパラメータ化であるConvex Potential Flows (CP-Flow)を紹介する。 CP-フローは強凸神経電位関数の勾配写像である。 CP-Flowは密度推定と変分推論の標準ベンチマークで競合的に動作することを示す。
• 参考スコア（独自算出の注目度）: 8.683116789109462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Flow-based models are powerful tools for designing probabilistic models with tractable density. This paper introduces Convex Potential Flows (CP-Flow), a natural and efficient parameterization of invertible models inspired by the optimal transport (OT) theory. CP-Flows are the gradient map of a strongly convex neural potential function. The convexity implies invertibility and allows us to resort to convex optimization to solve the convex conjugate for efficient inversion. To enable maximum likelihood training, we derive a new gradient estimator of the log-determinant of the Jacobian, which involves solving an inverse-Hessian vector product using the conjugate gradient method. The gradient estimator has constant-memory cost, and can be made effectively unbiased by reducing the error tolerance level of the convex optimization routine. Theoretically, we prove that CP-Flows are universal density approximators and are optimal in the OT sense. Our empirical results show that CP-Flow performs competitively on standard benchmarks of density estimation and variational inference.
• Abstract（参考訳）: フローベースモデルは、トラクタブル密度の確率モデルを設計するための強力なツールである。 本稿では、最適輸送(OT)理論にインスパイアされた可逆モデルの自然かつ効率的なパラメータ化であるConvex Potential Flows (CP-Flow)を紹介する。 CP-フローは強凸神経電位関数の勾配写像である。 凸性は可逆性を含み、効率的な反転のために凸共役を解くために凸最適化に頼ることができる。 最大確率トレーニングを可能にするために、共役勾配法を用いて逆ヘッセンベクトル積を解くジャコビアンの対決定式の新たな勾配推定器を導出する。 勾配推定器は、一定メモリコストを有し、凸最適化ルーチンの誤差許容レベルを低減し、効果的に非バイアス化することができる。 理論的には、cp-フローは普遍密度近似であり、ot の意味で最適であることが証明される。 実験の結果,CP-Flowは密度推定と変分推定の標準ベンチマークで競合的に動作することがわかった。

関連論文リスト

• Semi-Implicit Functional Gradient Flow [30.32233517392456]
  近似系として摂動粒子を用いる関数勾配ParVI法を提案する。 対応する関数勾配流は、スコアマッチングによって推定できるが、強い理論的収束を保証する。
  論文  参考訳（メタデータ） (2024-10-23T15:00:30Z)
• Flow-based Distributionally Robust Optimization [23.232731771848883]
  We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。 我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。 本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
  論文  参考訳（メタデータ） (2023-10-30T03:53:31Z)
• $\mathcal{C}^k$-continuous Spline Approximation with TensorFlow Gradient Descent Optimizers [2.0305676256390934]
  産業最適化問題に対する機械学習(ML)の「アウト・オブ・ボックス」アプリケーションを提案する。 我々はcam近似設定でデプロイ可能な$mathcalCk$-continuos関数のフィッティングのためのピースワイズモデル(スプライン)を導入する。 次に、機械学習フレームワークが提供する勾配勾配勾配最適化を用いて、近似品質と$mathcalCk$-continuityに関するモデルパラメータを最適化する。
  論文  参考訳（メタデータ） (2023-03-22T10:52:21Z)
• Universality of parametric Coupling Flows over parametric diffeomorphisms [13.39432329310336]
  Coupling Flows CFlowsに基づく可逆ニューラルネットワークは、画像合成やデータ圧縮など、さまざまな応用がある。 CFlows が Ck-ノルムの任意の微分同相を近似できることを示す。
  論文  参考訳（メタデータ） (2022-02-07T02:10:32Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• OT-Flow: Fast and Accurate Continuous Normalizing Flows via Optimal Transport [8.468007443062751]
  正規化フローは任意の確率分布と標準正規分布の間の可逆写像である。 OT-Flowは、より広範なCNFの使用を制限する2つの重要な計算課題に取り組む。 5つの高次元密度推定および生成モデリングタスクにおいて、OT-Flowは最先端CNFと競合して動作する。
  論文  参考訳（メタデータ） (2020-05-29T22:31:10Z)
• Gaussianization Flows [113.79542218282282]
  そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。 この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
  論文  参考訳（メタデータ） (2020-03-04T08:15:06Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。