論文の概要: Reducing normalizing flow complexity for MCMC preconditioning

• arxiv url: http://arxiv.org/abs/2511.02345v1
• Date: Tue, 04 Nov 2025 08:08:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:05.845041
• Title: Reducing normalizing flow complexity for MCMC preconditioning
• Title（参考訳）: MCMCプレコンディショニングにおける正規化フロー複雑性の低減
• Authors: David Nabergoj, Erik Štrumbelj,
• Abstract要約: 本研究では,線形成分と条件付きNFを組み合わせることにより,NFの複雑性を低減する因子化プレコンディショニングアーキテクチャを提案する。 本手法は,2つの複雑な合成分布における尾部試料の精度が向上し,疎対数回帰後部における連続的な性能が向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preconditioning is a key component of MCMC algorithms that improves sampling efficiency by facilitating exploration of geometrically complex target distributions through an invertible map. While linear preconditioners are often sufficient for moderately complex target distributions, recent work has explored nonlinear preconditioning with invertible neural networks as components of normalizing flows (NFs). However, empirical and theoretical studies show that overparameterized NF preconditioners can degrade sampling efficiency and fit quality. Moreover, existing NF-based approaches do not adapt their architectures to the target distribution. Related work outside of MCMC similarly finds that suitably parameterized NFs can achieve comparable or superior performance with substantially less training time or data. We propose a factorized preconditioning architecture that reduces NF complexity by combining a linear component with a conditional NF, improving adaptability to target geometry. The linear preconditioner is applied to dimensions that are approximately Gaussian, as estimated from warmup samples, while the conditional NF models more complex dimensions. Our method yields significantly better tail samples on two complex synthetic distributions and consistently better performance on a sparse logistic regression posterior across varying likelihood and prior strengths. It also achieves higher effective sample sizes on hierarchical Bayesian model posteriors with weak likelihoods and strong funnel geometries. This approach is particularly relevant for hierarchical Bayesian model analyses with limited data and could inform current theoretical and software strides in neural MCMC design.
• Abstract（参考訳）: プリコンディショニングは、可逆写像による幾何学的複素対象分布の探索を容易にすることでサンプリング効率を向上させるMCMCアルゴリズムの重要な構成要素である。 線形プレコンディショナーは、しばしば適度に複雑なターゲット分布に十分であるが、近年の研究では、正規化フロー(NF)の構成要素として、可逆ニューラルネットワークを用いた非線形プレコンディショニングについて検討している。 しかし、実験的および理論的研究により、過パラメータ化されたNFプレコンディショナーはサンプリング効率と適合品質を低下させることができることが示されている。 さらに、既存のNFベースのアプローチは、アーキテクチャをターゲット分布に適応させない。 MCMC以外の関連する作業も同様に、パラメータ化されたNFが、トレーニング時間やデータを大幅に少なくして、同等または優れたパフォーマンスを達成できることが分かる。 線形成分と条件付きNFを組み合わせることにより,NFの複雑性を低減し,ターゲット形状への適応性を向上する因子化プレコンディショニングアーキテクチャを提案する。 線形プレコンディショナーは、ウォームアップサンプルから推定されるおよそガウス次元に適用され、条件付きNFはより複雑な次元をモデル化する。 提案手法は, 2つの複雑な合成分布の尾部試料と, 異なる確率および先行強度にまたがる粗大なロジスティック回帰後部において, 連続的に良好な性能を示す。 また、弱い可能性と強いファンネルジオメトリーを持つ階層的ベイズモデルの後方でのより効果的なサンプルサイズも達成している。 このアプローチは、限られたデータを用いた階層的ベイズモデル解析に特に関係しており、ニューラルMCMC設計における現在の理論的およびソフトウェア戦略を知らせることができる。

関連論文リスト

• Variational Bayesian Optimal Experimental Design with Normalizing Flows [0.837622912636323]
  変分OEDは、可能性評価なしでEIGの下位境界を推定する。 本稿では,vOEDにおける変分分布を表現するための正規化フローについて紹介する。 その結果,4〜5層の合成により,より低いEIG推定バイアスが得られることがわかった。
  論文  参考訳（メタデータ） (2024-04-08T14:44:21Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Consistency Models for Scalable and Fast Simulation-Based Inference [9.27488642055461]
  シミュレーションベース推論(SBI)のための新しい条件付きサンプルであるCMPEの整合性モデルを提案する。 CMPEは基本的に連続した確率フローを蒸留し、制約のないアーキテクチャで高速な数発の推論を可能にする。 実験により,CMPEは高次元のベンチマークで最先端のアルゴリズムより優れるだけでなく,より高速なサンプリング速度で競合性能を達成できることを示した。
  論文  参考訳（メタデータ） (2023-12-09T02:14:12Z)
• Orthogonal Stochastic Configuration Networks with Adaptive Construction Parameter for Data Analytics [6.940097162264939]
  ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。 機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。 本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
  論文  参考訳（メタデータ） (2022-05-26T07:07:26Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。