論文の概要: Empirical evaluation of normalizing flows in Markov Chain Monte Carlo

• arxiv url: http://arxiv.org/abs/2412.17136v1
• Date: Sun, 22 Dec 2024 18:52:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:53:04.575983
• Title: Empirical evaluation of normalizing flows in Markov Chain Monte Carlo
• Title（参考訳）: マルコフ連鎖モンテカルロにおける正規化流れの実証評価
• Authors: David Nabergoj, Erik Štrumbelj,
• Abstract要約: 現在、MCMCの異なる正規化フローアーキテクチャの体系的な比較は行われていない。 我々は,多数の正規化フローアーキテクチャを広範囲に評価し,そのようなガイドラインを初めて提示する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Recent advances in MCMC use normalizing flows to precondition target distributions and enable jumps to distant regions. However, there is currently no systematic comparison of different normalizing flow architectures for MCMC. As such, many works choose simple flow architectures that are readily available and do not consider other models. Guidelines for choosing an appropriate architecture would reduce analysis time for practitioners and motivate researchers to take the recommended models as foundations to be improved. We provide the first such guideline by extensively evaluating many normalizing flow architectures on various flow-based MCMC methods and target distributions. When the target density gradient is available, we show that flow-based MCMC outperforms classic MCMC for suitable NF architecture choices with minor hyperparameter tuning. When the gradient is unavailable, flow-based MCMC wins with off-the-shelf architectures. We find contractive residual flows to be the best general-purpose models with relatively low sensitivity to hyperparameter choice. We also provide various insights into normalizing flow behavior within MCMC when varying their hyperparameters, properties of target distributions, and the overall computational budget.
• Abstract（参考訳）: MCMCの最近の進歩は、正規化フローを用いて目標分布を事前設定し、遠隔地へのジャンプを可能にする。 しかし、MCMCの異なる正規化フローアーキテクチャの体系的な比較は行われていない。 そのため、多くの研究は、容易に利用でき、他のモデルを考慮しない単純なフローアーキテクチャを選択する。 適切なアーキテクチャを選択するためのガイドラインは、実践者の分析時間を短縮し、推奨されたモデルを改善すべき基盤として、研究者のモチベーションを高める。 本稿では,様々なフローベースMCMC法とターゲット分布に基づいて,多数のフローアーキテクチャの正規化を広範囲に評価することによって,そのようなガイドラインを初めて提示する。 目標密度勾配が利用できる場合、フローベースMCMCは、小さなハイパーパラメータチューニングを伴う適切なNFアーキテクチャ選択に対して、古典的MCMCよりも優れた性能を示すことを示す。 勾配が利用できない場合、フローベースのMCMCは既製のアーキテクチャで勝利する。 収縮残留流は,高パラメータ選択に対する感度が比較的低い汎用モデルとして最適である。 また, 過パラメータの変化, 対象分布の特性, 計算予算全体について, MCMC内の流れの正規化に関する様々な知見を提供する。

関連論文リスト

• Koopman-Based Surrogate Modelling of Turbulent Rayleigh-Bénard Convection [4.248022697109535]
  我々は,LRAN(Linear Recurrent Autoencoder Network)と呼ばれるクープマンにインスパイアされたアーキテクチャを用いて,対流中の低次ダイナミクスを学習する。 従来の流体力学法であるKernel Dynamic Mode Decomposition (KDMD)を用いてLRANを比較する。 我々は,最も乱流条件下では,KDMDよりもLRANの方が正確な予測値を得た。
  論文  参考訳（メタデータ） (2024-05-10T12:15:02Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• MixerFlow: MLP-Mixer meets Normalising Flows [10.31916245015817]
  正規化フローは、複雑な密度を単純な密度に変換する生成モデルである。 画像モデリングの文脈では、主な選択はGlowベースのアーキテクチャである。 我々はMixer-Mixerアーキテクチャに基づくMixerFlowと呼ばれる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-10-25T17:10:37Z)
• GAFlow: Incorporating Gaussian Attention into Optical Flow [62.646389181507764]
  我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。 本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。 動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
  論文  参考訳（メタデータ） (2023-09-28T07:46:01Z)
• Flow Annealed Kalman Inversion for Gradient-Free Inference in Bayesian Inverse Problems [1.534667887016089]
  Flow Annealed Kalman Inversion (FAKI)はEnsemble Kalman Inversion (EKI)の一般化である 2つのベンチマークでFAKIの性能を示す。
  論文  参考訳（メタデータ） (2023-09-20T17:39:14Z)
• Improving and generalizing flow-based generative models with minibatch optimal transport [90.01613198337833]
  連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。 CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。 我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
  論文  参考訳（メタデータ） (2023-02-01T14:47:17Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Continual Repeated Annealed Flow Transport Monte Carlo [93.98285297760671]
  我々はCRAFT(Continuous Repeated Annealed Flow Transport Monte Carlo)を提案する。 シーケンシャルなモンテカルロサンプリングと正規化フローを用いた変分推論を組み合わせる。 CRAFTは格子場の実例で驚くほど正確な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-01-31T10:58:31Z)
• Structured Stochastic Gradient MCMC [20.68905354115655]
  近似した後方関数形式を仮定しない新しい非パラメトリック変分近似を提案する。 完全なSGMCMCよりも優れた予測可能性と有効試料サイズが得られる。
  論文  参考訳（メタデータ） (2021-07-19T17:18:10Z)
• Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
  本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。 実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
  論文  参考訳（メタデータ） (2020-08-12T15:02:59Z)
• Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
  マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。 我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。 我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
  論文  参考訳（メタデータ） (2020-04-08T09:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。