論文の概要: OT-Flow: Fast and Accurate Continuous Normalizing Flows via Optimal Transport

• arxiv url: http://arxiv.org/abs/2006.00104v5
• Date: Tue, 23 Mar 2021 20:30:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 22:54:56.777944
• Title: OT-Flow: Fast and Accurate Continuous Normalizing Flows via Optimal Transport
• Title（参考訳）: OT-Flow: 最適輸送による高速かつ高精度な連続正規化フロー
• Authors: Derek Onken, Samy Wu Fung, Xingjian Li, Lars Ruthotto
• Abstract要約: 正規化フローは任意の確率分布と標準正規分布の間の可逆写像である。 OT-Flowは、より広範なCNFの使用を制限する2つの重要な計算課題に取り組む。 5つの高次元密度推定および生成モデリングタスクにおいて、OT-Flowは最先端CNFと競合して動作する。
• 参考スコア（独自算出の注目度）: 8.468007443062751
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A normalizing flow is an invertible mapping between an arbitrary probability distribution and a standard normal distribution; it can be used for density estimation and statistical inference. Computing the flow follows the change of variables formula and thus requires invertibility of the mapping and an efficient way to compute the determinant of its Jacobian. To satisfy these requirements, normalizing flows typically consist of carefully chosen components. Continuous normalizing flows (CNFs) are mappings obtained by solving a neural ordinary differential equation (ODE). The neural ODE's dynamics can be chosen almost arbitrarily while ensuring invertibility. Moreover, the log-determinant of the flow's Jacobian can be obtained by integrating the trace of the dynamics' Jacobian along the flow. Our proposed OT-Flow approach tackles two critical computational challenges that limit a more widespread use of CNFs. First, OT-Flow leverages optimal transport (OT) theory to regularize the CNF and enforce straight trajectories that are easier to integrate. Second, OT-Flow features exact trace computation with time complexity equal to trace estimators used in existing CNFs. On five high-dimensional density estimation and generative modeling tasks, OT-Flow performs competitively to state-of-the-art CNFs while on average requiring one-fourth of the number of weights with an 8x speedup in training time and 24x speedup in inference.
• Abstract（参考訳）: 正規化フローは任意の確率分布と標準正規分布の間の可逆写像であり、密度推定や統計的推測に使うことができる。 流れの計算は変数の式の変化に従うため、写像の可逆性とヤコビ行列式を計算する効率的な方法を必要とする。 これらの要件を満たすため、フローの正規化は通常、慎重に選択されたコンポーネントから構成される。 連続正規化フロー (Continuous normalizing Flow, CNF) は、ニューラル常微分方程式(ODE)を解くことによって得られる写像である。 ニューラルODEのダイナミクスは、ほぼ任意に選択でき、可逆性を保証する。 さらに、フローのジャコビアンの対数決定式は、フローに沿ってダイナミクスのジャコビアンのトレースを積分することで得られる。 提案するOT-Flowアプローチは,より広範なCNFの使用を制限する2つの重要な計算課題に対処する。 まず、OT-Flowは最適輸送(OT)理論を利用してCNFを正規化し、統合しやすい直線軌道を強制する。 第2に、OT-Flowは、既存のCNFで使用されているトレース推定値に匹敵する時間複雑性を持つ正確なトレース計算を特徴としている。 5つの高次元密度推定および生成モデリングタスクにおいて、OT-Flowは最先端のCNFと競合し、平均して8倍のスピードアップと24倍の速度アップを必要とする。

関連論文リスト

• Entropy-Informed Weighting Channel Normalizing Flow [7.751853409569806]
  正規化および機能依存の$mathttShuffle$演算を提案し,それをバニラマルチスケールアーキテクチャに統合する。 このような操作はエントロピー増加方向の変数を誘導するので、$mathttShuffle$演算をemphEntropy-Informed Weighting Channel Normalizing Flow (EIW-Flow)と呼ぶNFを参照する。
  論文  参考訳（メタデータ） (2024-07-06T04:46:41Z)
• Consistency Flow Matching: Defining Straight Flows with Velocity Consistency [97.28511135503176]
  本稿では,速度場の自己整合性を明示する新しいFM法であるConsistency Flow Matching(Consistency-FM)を紹介する。 予備実験により、一貫性FMは、一貫性モデルよりも4.4倍速く収束することにより、トレーニング効率を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-07-02T16:15:37Z)
• Taming Hyperparameter Tuning in Continuous Normalizing Flows Using the JKO Scheme [60.79981399724534]
  正規化フロー (NF) は、選択された確率分布を正規分布に変換する写像である。 OTベースのCNFを$alpha$をチューニングすることなく解くアルゴリズムであるJKO-Flowを提案する。
  論文  参考訳（メタデータ） (2022-11-30T05:53:21Z)
• Flow Matching for Generative Modeling [44.66897082688762]
  フローマッチングは、連続正規化フロー(CNF)のトレーニングのためのシミュレーション不要なアプローチである 拡散経路を持つFMを用いることで、より堅牢で安定した拡散モデルの代替となることが判明した。 ImageNet上でFlow Matchingを使用したCNFのトレーニングは、可能性とサンプル品質の両方の観点から最先端のパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2022-10-06T08:32:20Z)
• Manifold Interpolating Optimal-Transport Flows for Trajectory Inference [64.94020639760026]
  最適輸送流(MIOFlow)を補間するマニフォールド補間法を提案する。 MIOFlowは、散発的なタイムポイントで撮影された静的スナップショットサンプルから、連続的な人口動態を学習する。 本手法は, 胚体分化および急性骨髄性白血病の治療から得られたscRNA-seqデータとともに, 分岐とマージによるシミュレーションデータについて検討した。
  論文  参考訳（メタデータ） (2022-06-29T22:19:03Z)
• GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
  光フロー推定学習のためのGMFlowフレームワークを提案する。 機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。 我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
  論文  参考訳（メタデータ） (2021-11-26T18:59:56Z)
• Convex Potential Flows: Universal Probability Distributions with Optimal Transport and Convex Optimization [8.683116789109462]
  本稿では,可逆モデルの自然かつ効率的なパラメータ化であるConvex Potential Flows (CP-Flow)を紹介する。 CP-フローは強凸神経電位関数の勾配写像である。 CP-Flowは密度推定と変分推論の標準ベンチマークで競合的に動作することを示す。
  論文  参考訳（メタデータ） (2020-12-10T19:36:34Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。