論文の概要: Taming Hyperparameter Tuning in Continuous Normalizing Flows Using the JKO Scheme

• arxiv url: http://arxiv.org/abs/2211.16757v1
• Date: Wed, 30 Nov 2022 05:53:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 18:07:43.600982
• Title: Taming Hyperparameter Tuning in Continuous Normalizing Flows Using the JKO Scheme
• Title（参考訳）: JKOスキームを用いた連続正規化流れのハイパーパラメータチューニング
• Authors: Alexander Vidal, Samy Wu Fung, Luis Tenorio, Stanley Osher, Levon Nurbekyan
• Abstract要約: 正規化フロー (NF) は、選択された確率分布を正規分布に変換する写像である。 OTベースのCNFを$alpha$をチューニングすることなく解くアルゴリズムであるJKO-Flowを提案する。
• 参考スコア（独自算出の注目度）: 60.79981399724534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A normalizing flow (NF) is a mapping that transforms a chosen probability distribution to a normal distribution. Such flows are a common technique used for data generation and density estimation in machine learning and data science. The density estimate obtained with a NF requires a change of variables formula that involves the computation of the Jacobian determinant of the NF transformation. In order to tractably compute this determinant, continuous normalizing flows (CNF) estimate the mapping and its Jacobian determinant using a neural ODE. Optimal transport (OT) theory has been successfully used to assist in finding CNFs by formulating them as OT problems with a soft penalty for enforcing the standard normal distribution as a target measure. A drawback of OT-based CNFs is the addition of a hyperparameter, $\alpha$, that controls the strength of the soft penalty and requires significant tuning. We present JKO-Flow, an algorithm to solve OT-based CNF without the need of tuning $\alpha$. This is achieved by integrating the OT CNF framework into a Wasserstein gradient flow framework, also known as the JKO scheme. Instead of tuning $\alpha$, we repeatedly solve the optimization problem for a fixed $\alpha$ effectively performing a JKO update with a time-step $\alpha$. Hence we obtain a "divide and conquer" algorithm by repeatedly solving simpler problems instead of solving a potentially harder problem with large $\alpha$.
• Abstract（参考訳）: 正規化フロー (NF) は、選択された確率分布を正規分布に変換する写像である。 このようなフローは、機械学習やデータサイエンスにおけるデータ生成や密度推定に使われる一般的なテクニックである。 NFで得られた密度推定には、NF変換のヤコビ行列式の計算を含む変数公式の変更が必要である。 連続正規化フロー(CNF)は、この決定式を的確に計算するために、ニューラルODEを用いてマッピングとそのヤコビ行列式を推定する。 最適輸送(ot)理論は、標準正規分布を目標測度として強制するためのソフトペナルティでot問題として定式化することで、cnfを見つけるのに有効である。 OTベースのCNFの欠点は、ソフトペナルティの強度を制御し、かなりのチューニングを必要とするハイパーパラメータ$\alpha$の追加である。 OTベースのCNFを$\alpha$をチューニングすることなく解くアルゴリズムであるJKO-Flowを提案する。 これは、OT CNFフレームワークを、JKOスキームとしても知られるワッサーシュタイン勾配流フレームワークに統合することで達成される。 我々は$\alpha$をチューニングする代わりに、固定された$\alpha$の最適化問題を繰り返し解決し、時間ステップ$\alpha$でJKO更新を効果的に実行する。 したがって、大きな$\alpha$で潜在的に難しい問題を解くのではなく、より単純な問題を繰り返すことで「分割と征服」のアルゴリズムを得る。

関連論文リスト

• Entropy-Informed Weighting Channel Normalizing Flow [7.751853409569806]
  正規化および機能依存の$mathttShuffle$演算を提案し,それをバニラマルチスケールアーキテクチャに統合する。 このような操作はエントロピー増加方向の変数を誘導するので、$mathttShuffle$演算をemphEntropy-Informed Weighting Channel Normalizing Flow (EIW-Flow)と呼ぶNFを参照する。
  論文  参考訳（メタデータ） (2024-07-06T04:46:41Z)
• Sub-linear Regret in Adaptive Model Predictive Control [56.705978425244496]
  本稿では,STT-MPC (Self-Tuning tube-based Model Predictive Control) について述べる。 システム力学を最初に認識したアルゴリズムと比較して,アルゴリズムの後悔を解析する。
  論文  参考訳（メタデータ） (2023-10-07T15:07:10Z)
• FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
  ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。 我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
  論文  参考訳（メタデータ） (2023-10-04T21:11:40Z)
• GQFedWAvg: Optimization-Based Quantized Federated Learning in General Edge Computing Systems [11.177402054314674]
  エッジコンピューティングにおけるフェデレートラーニング(FL)の最適実装は際立った問題であった。 一般エッジコンピューティングシステムと一様あるいは一様でない計算・通信システムとを適切に適合させることができる最適化量子化FLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-13T02:18:24Z)
• Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
  有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
  論文  参考訳（メタデータ） (2022-07-19T16:37:24Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• OT-Flow: Fast and Accurate Continuous Normalizing Flows via Optimal Transport [8.468007443062751]
  正規化フローは任意の確率分布と標準正規分布の間の可逆写像である。 OT-Flowは、より広範なCNFの使用を制限する2つの重要な計算課題に取り組む。 5つの高次元密度推定および生成モデリングタスクにおいて、OT-Flowは最先端CNFと競合して動作する。
  論文  参考訳（メタデータ） (2020-05-29T22:31:10Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。