論文の概要: Stable Training of Normalizing Flows for High-dimensional Variational Inference

• arxiv url: http://arxiv.org/abs/2402.16408v1
• Date: Mon, 26 Feb 2024 09:04:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 14:07:19.302749
• Title: Stable Training of Normalizing Flows for High-dimensional Variational Inference
• Title（参考訳）: 高次元変分推論のための正規化流れの安定トレーニング
• Authors: Daniel Andrade
• Abstract要約: 正規化フロー(NFs)による変分推論は、MCMC法の代替としてますます人気が高まっている。 実際には、勾配のばらつきが大きいため、高次元分布を近似するための深い正規化フローの訓練は不可能であることが多い。 本研究では, 勾配勾配勾配の分散を安定化させる従来の手法は, 実NVPの安定トレーニングを実現するには不十分であることを示す。
• 参考スコア（独自算出の注目度）: 2.139348034155473
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Variational inference with normalizing flows (NFs) is an increasingly popular alternative to MCMC methods. In particular, NFs based on coupling layers (Real NVPs) are frequently used due to their good empirical performance. In theory, increasing the depth of normalizing flows should lead to more accurate posterior approximations. However, in practice, training deep normalizing flows for approximating high-dimensional posterior distributions is often infeasible due to the high variance of the stochastic gradients. In this work, we show that previous methods for stabilizing the variance of stochastic gradient descent can be insufficient to achieve stable training of Real NVPs. As the source of the problem, we identify that, during training, samples often exhibit unusual high values. As a remedy, we propose a combination of two methods: (1) soft-thresholding of the scale in Real NVPs, and (2) a bijective soft log transformation of the samples. We evaluate these and other previously proposed modification on several challenging target distributions, including a high-dimensional horseshoe logistic regression model. Our experiments show that with our modifications, stable training of Real NVPs for posteriors with several thousand dimensions is possible, allowing for more accurate marginal likelihood estimation via importance sampling. Moreover, we evaluate several common training techniques and architecture choices and provide practical advise for training NFs for high-dimensional variational inference.
• Abstract（参考訳）: 正規化フロー(NFs)による変分推論は、MCMC法の代替としてますます人気が高まっている。 特に、結合層(Real NVP)に基づくNFは、その優れた経験的性能のために頻繁に使用される。 理論上、正規化フローの深さの増大は、より正確な後部近似をもたらす。 しかし、実際には、高次元後方分布を近似する深部正規化流の訓練は、確率勾配の高ばらつきのため、しばしば実現不可能である。 本研究では, 確率勾配勾配の分散を安定化させる従来の手法は, 実NVPの安定トレーニングを実現するには不十分であることを示す。 問題の原因として、トレーニング中、サンプルが異常な高い値を示すことが多いことが分かりました。 そこで本研究では,(1)実NVPにおけるスケールのソフトスレッディング,(2)サンプルの客観的なソフトログ変換の2つの方法の組み合わせを提案する。 本研究は,高次元ロジスティック回帰モデルを含む,いくつかの挑戦的対象分布に対するこれらおよびそれ以前に提案された修正について評価する。 実験により,数千次元の後肢に対する実NVPの安定トレーニングが可能であり,重要サンプリングによるより正確な限界推定が可能であることが確認された。 さらに,いくつかの一般的なトレーニング手法とアーキテクチャの選択を評価し,高次元変動推論のためのNFのトレーニングに実用的なアドバイスを提供する。

関連論文リスト

• Importance Corrected Neural JKO Sampling [0.0]
  重み付けに基づいて, 連続正規化フロー (CNFs) とリジェクション・サンプリングのステップを結合する。 発生モデルを反復的にトレーニングし、各ステップにおける逆KL損失関数を低減し、iidサンプルを生成することができる。 数値的な例から,本手法は高次元マルチモーダルターゲットを含む様々な試験分布に対して精度の高い結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-07-29T22:49:59Z)
• SoftCVI: Contrastive variational inference with self-generated soft labels [2.5398014196797614]
  変分推論とマルコフ連鎖モンテカルロ法がこのタスクの主要なツールである。 ソフトコントラスト変動推論(SoftCVI)を導入し、コントラスト推定フレームワークを用いて変動対象のファミリーを導出する。 我々は、SoftCVIを用いて、訓練や大量発見に安定な目標を定式化することができ、他の変分アプローチよりも頻繁に優れた推論が可能であることを発見した。
  論文  参考訳（メタデータ） (2024-07-22T14:54:12Z)
• Differentiable and Stable Long-Range Tracking of Multiple Posterior Modes [1.534667887016089]
  我々は、学習データを活用し、潜在対象状態における不確実性の粒子ベース表現を識別的に学習する。 提案手法は精度を劇的に向上すると同時に,複数のトレーニング実行における安定性も向上する。
  論文  参考訳（メタデータ） (2024-04-12T19:33:52Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Preconditioned training of normalizing flows for variational inference in inverse problems [1.5749416770494706]
  低忠実な後方分布から直接サンプリングできる条件付き正規化フロー(NF)を提案する。 この条件NFは、クルバック・リーブラー分岐の最小化を含む高忠実度目標のトレーニングを高速化するために使用される。 2D玩具と地震圧縮センシングのサンプルを含む私たちの数値実験は、かなりのスピードアップが達成可能であることを示しています。
  論文  参考訳（メタデータ） (2021-01-11T05:35:36Z)
• On Signal-to-Noise Ratio Issues in Variational Inference for Deep Gaussian Processes [55.62520135103578]
  重み付き変分推論を用いたDGP(Deep Gaussian Processs)の訓練で用いられる勾配推定は,信号-雑音比(SNR)問題の影響を受けやすいことを示す。 DGPモデルの予測性能が一貫した改善につながることを示す。
  論文  参考訳（メタデータ） (2020-11-01T14:38:02Z)
• Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation [51.091890311312085]
  本稿では,テキスト生成で遭遇する大規模なサンプル空間において,効率よく安定な自動回帰シーケンス生成モデルのトレーニング手法を提案する。 本手法は,品質と多様性の両面で,最大類似度推定や他の最先端シーケンス生成モデルよりも安定に優れている。
  論文  参考訳（メタデータ） (2020-07-12T15:31:24Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。