論文の概要: Accelerating Continuous Normalizing Flow with Trajectory Polynomial Regularization

• arxiv url: http://arxiv.org/abs/2012.04228v2
• Date: Tue, 26 Jan 2021 22:41:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 21:45:39.445048
• Title: Accelerating Continuous Normalizing Flow with Trajectory Polynomial Regularization
• Title（参考訳）: 軌道多項式正則化による連続正規化流れの加速
• Authors: Han-Hsien Huang, Mi-Yen Yeh
• Abstract要約: 連続流れ(CNF)の計算を効果的に加速する手法を提案する。 必要な関数評価(NFE)の回数が非常に大きいため、CNFのトレーニング時間コストは非常に高い可能性がある。 提案手法により, 密度推定作業におけるNFEの4～71.3%, 可変オートエンコーダにおけるNFEの19.3%〜32.1%の低減が得られた。
• 参考スコア（独自算出の注目度）: 2.132096006921048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose an approach to effectively accelerating the computation of continuous normalizing flow (CNF), which has been proven to be a powerful tool for the tasks such as variational inference and density estimation. The training time cost of CNF can be extremely high because the required number of function evaluations (NFE) for solving corresponding ordinary differential equations (ODE) is very large. We think that the high NFE results from large truncation errors of solving ODEs. To address the problem, we propose to add a regularization. The regularization penalizes the difference between the trajectory of the ODE and its fitted polynomial regression. The trajectory of ODE will approximate a polynomial function, and thus the truncation error will be smaller. Furthermore, we provide two proofs and claim that the additional regularization does not harm training quality. Experimental results show that our proposed method can result in 42.3% to 71.3% reduction of NFE on the task of density estimation, and 19.3% to 32.1% reduction of NFE on variational auto-encoder, while the testing losses are not affected.
• Abstract（参考訳）: 本稿では,連続正規化フロー(CNF)の計算を効果的に高速化する手法を提案する。 通常の微分方程式(ODE)を解くために必要な関数評価(NFE)の数が非常に大きいため、CNFのトレーニング時間コストは非常に高い。 高いNFEは、ODEを解く際の大きなトランケーションエラーの結果であると考えられる。 この問題に対処するため,正規化を提案する。 正規化は、ODEの軌道とその適合した多項式回帰との差を罰する。 ODE の軌道は多項式関数に近似するので、トランケーション誤差は小さくなる。 さらに,2つの証明を提示し,追加の正規化がトレーニング品質に影響を与えないと主張する。 実験結果から,提案手法は密度推定タスクにおけるNFEの42.3%から71.3%,変分自動エンコーダにおけるNFEの19.3%から32.1%の低減を達成でき,試験損失は影響しないことがわかった。

関連論文リスト

• PFDiff: Training-free Acceleration of Diffusion Models through the Gradient Guidance of Past and Future [4.595421654683656]
  拡散確率モデル (DPM) は画像生成において顕著な可能性を示しているが, サンプリング効率は多数のデノナイジングステップの必要性によって妨げられている。 我々は、既存の高速ODEソルバを少ないNFEで動作させることができる新しいトレーニングフリーかつタイムステップスキッピング戦略であるPFDiffを提案する。
  論文  参考訳（メタデータ） (2024-08-16T16:12:44Z)
• Improved Techniques for Maximum Likelihood Estimation for Diffusion ODEs [21.08236758778604]
  拡散ODEの最大誤差推定のためのいくつかの改良手法を提案する。 トレーニングのために,速度パラメータ化を提案し,より高速な収束のための分散低減手法を探索する。 評価のために,拡散 ODE に存在する訓練・評価のギャップを埋めるために,新しい訓練自由トラクト正規化法を提案する。
  論文  参考訳（メタデータ） (2023-05-06T05:21:24Z)
• Taming Hyperparameter Tuning in Continuous Normalizing Flows Using the JKO Scheme [60.79981399724534]
  正規化フロー (NF) は、選択された確率分布を正規分布に変換する写像である。 OTベースのCNFを$alpha$をチューニングすることなく解くアルゴリズムであるJKO-Flowを提案する。
  論文  参考訳（メタデータ） (2022-11-30T05:53:21Z)
• Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs [86.35471039808023]
  Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。 iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。 提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
  論文  参考訳（メタデータ） (2022-11-28T09:57:15Z)
• Penalized Proximal Policy Optimization for Safe Reinforcement Learning [68.86485583981866]
  本稿では、等価な制約のない問題の単一最小化により、煩雑な制約付きポリシー反復を解決するP3Oを提案する。 P3Oは、コスト制約を排除し、クリップされたサロゲート目的による信頼領域制約を除去するために、単純なyet効果のペナルティ関数を利用する。 P3Oは,一連の制約された機関車作業において,報酬改善と制約満足度の両方に関して,最先端のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-24T06:15:51Z)
• Geometric Value Iteration: Dynamic Error-Aware KL Regularization for Reinforcement Learning [11.82492300303637]
  動的係数スキームについて検討し,第1次誤差境界を示す。 より頑健な学習のために,誤差の大きさに応じて係数を調整するための効果的なスキームを提案する。 実験により, 一定KL係数の均一平均化に対する学習速度とロバスト性とのトレードオフを効果的に活用できることが実証された。
  論文  参考訳（メタデータ） (2021-07-16T01:24:37Z)
• NP-ODE: Neural Process Aided Ordinary Differential Equations for Uncertainty Quantification of Finite Element Analysis [2.9210447295585724]
  FEAシミュレーションをモデル化するために、NP-ODE(Neural Process Aided Ordinary Differential Equation)と呼ばれる物理インフォームドデータ駆動サロゲートモデルを提案する。 その結果,提案したNP-ODEはベンチマーク手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-12T22:38:16Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Momentum Improves Normalized SGD [51.27183254738711]
  モーメントを追加することで、目的に対する大きなバッチサイズの必要性を確実に排除できることを示す。 本稿では,ResNet-50 や BERT といった大規模タスクの事前学習において,提案手法が有効であることを示す。
  論文  参考訳（メタデータ） (2020-02-09T07:00:54Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。