論文の概要: Conditional diffusions for amortized neural posterior estimation

• arxiv url: http://arxiv.org/abs/2410.19105v3
• Date: Thu, 13 Mar 2025 02:16:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 12:35:47.592894
• Title: Conditional diffusions for amortized neural posterior estimation
• Title（参考訳）: アモルト化神経後部推定のための条件拡散
• Authors: Tianyu Chen, Vansh Bansal, James G. Scott,
• Abstract要約: 本稿では,高容量要約ネットワークを併用した条件拡散の有効性を示す。 その結果,より単純で浅いモデルであっても,安定性の向上,精度の向上,トレーニング時間の短縮が得られた。
• 参考スコア（独自算出の注目度）: 8.37884129644711
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural posterior estimation (NPE), a simulation-based computational approach for Bayesian inference, has shown great success in approximating complex posterior distributions. Existing NPE methods typically rely on normalizing flows, which approximate a distribution by composing many simple, invertible transformations. But flow-based models, while state of the art for NPE, are known to suffer from several limitations, including training instability and sharp trade-offs between representational power and computational cost. In this work, we demonstrate the effectiveness of conditional diffusions coupled with high-capacity summary networks for amortized NPE. Conditional diffusions address many of the challenges faced by flow-based methods. Our results show that, across a highly varied suite of benchmarking problems for NPE architectures, diffusions offer improved stability, superior accuracy, and faster training times, even with simpler, shallower models. Building on prior work on diffusions for NPE, we show that these gains persist across a variety of different summary network architectures. Code is available at https://github.com/TianyuCodings/cDiff.
• Abstract（参考訳）: ベイズ推定のためのシミュレーションに基づく計算手法であるニューラル後部推定(NPE)は,複雑な後部分布の近似において大きな成功を収めている。 既存のNPE法は、多くの単純で可逆な変換を構成することで分布を近似する正規化フローに依存するのが一般的である。 しかし、フローベースのモデルは、NPEの最先端ではあるものの、トレーニング不安定性や表現力と計算コストの急激なトレードオフなど、いくつかの制限に悩まされていることが知られている。 本研究では,高容量NPEにおける条件拡散と高容量要約ネットワークの併用効果を実証する。 条件拡散はフローベース手法が直面する多くの課題に対処する。 NPEアーキテクチャの高度に多様なベンチマーク問題に対して,拡散は安定性の向上,精度の向上,トレーニング時間の短縮を実現している。 NPEの拡散に関する先行研究に基づいて、これらの利得が様々な要約ネットワークアーキテクチャにわたって持続していることが示される。 コードはhttps://github.com/TianyuCodings/cDiffで入手できる。

関連論文リスト

• Variational Bayes image restoration with compressive autoencoders [4.879530644978008]
  逆問題の正規化は、計算イメージングにおいて最重要となる。 本研究では,まず,最先端生成モデルの代わりに圧縮型オートエンコーダを提案する。 第2の貢献として、変分ベイズ潜時推定(VBLE)アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-11-29T15:49:31Z)
• An efficient likelihood-free Bayesian inference method based on sequential neural posterior estimation [0.6749750044497732]
  SNPE技術はニューラルネットワークに基づく条件密度推定器を用いて逐次シミュレーションから後部を学習する。 SNPE法は、キャリブレーションカーネルを用いて観測データの周囲のサンプル重量を増大させ、集中的な損失関数をもたらす。 本稿では,適応キャリブレーションカーネルと分散低減技術を用いてSNPEの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-11-21T11:21:53Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
  ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。 本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。 提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
  論文  参考訳（メタデータ） (2023-02-08T19:38:59Z)
• Variational Inference on the Final-Layer Output of Neural Networks [3.146069168382982]
  本稿では、最終層出力空間(VIFO)における変分推論を行うことにより、両方のアプローチの利点を組み合わせることを提案する。 ニューラルネットワークを用いて確率出力の平均と分散を学習する。 実験により、VIFOは、特に分布データ外において、実行時間と不確実性定量化の観点から良いトレードオフを提供することが示された。
  論文  参考訳（メタデータ） (2023-02-05T16:19:01Z)
• GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
  モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。 最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。 GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
  論文  参考訳（メタデータ） (2022-10-24T03:00:01Z)
• Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization [0.0]
  推測法は、難易度のあるシミュレーターモデルに対する後部近似を導出する。 多くの研究は、難易度または後部に直接近似するようにニューラルネットワークを訓練した。 本稿では,スコーリングルールの最小化によって訓練された生成ネットワークに後部を近似することを提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:32:55Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)
• Improving Bayesian Inference in Deep Neural Networks with Variational Structured Dropout [19.16094166903702]
  ベイズネットワークにおける近似推論として,ドロップアウトトレーニングの解釈に触発された新しい変分構造近似を提案する。 そこで,この限界を克服するために,Variational Structured Dropout (VSD) と呼ばれる新しい手法を提案する。 標準ベンチマークの実験を行い、予測精度と不確実性推定の両方において、最新手法に対するVSDの有効性を実証します。
  論文  参考訳（メタデータ） (2021-02-16T02:33:43Z)
• Streaming Probabilistic Deep Tensor Factorization [27.58928876734886]
  本稿では,ストリーム確率型Deep tEnsoR分解法であるSPIDERを提案する。 仮定密度フィルタおよび予測伝搬フレームワークにおける効率的な後部推論アルゴリズムを開発した。 実世界の4つのアプリケーションにアプローチの利点を示す。
  論文  参考訳（メタデータ） (2020-07-14T21:25:39Z)
• Combining Differentiable PDE Solvers and Graph Neural Networks for Fluid Flow Prediction [79.81193813215872]
  我々は,従来のグラフ畳み込みネットワークと,ネットワーク内部に組込み可能な流体力学シミュレータを組み合わせたハイブリッド(グラフ)ニューラルネットワークを開発した。 ニューラルネットワークのCFD予測の大幅な高速化により,新たな状況に十分対応できることが示される。
  論文  参考訳（メタデータ） (2020-07-08T21:23:19Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。