論文の概要: Inflationary Flows: Calibrated Bayesian Inference with Diffusion-Based Models

• arxiv url: http://arxiv.org/abs/2407.08843v1
• Date: Thu, 11 Jul 2024 19:58:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 01:36:13.467098
• Title: Inflationary Flows: Calibrated Bayesian Inference with Diffusion-Based Models
• Title（参考訳）: インフレフロー:拡散モデルに基づくキャリブレーションベイズ推論
• Authors: Daniela de Albuquerque, John Pearson,
• Abstract要約: 本稿では,拡散モデルを用いてベイズ推定を行う方法を示す。 本稿では,新しいノイズスケジュールを用いて,標準的なDBMトレーニングを通じてそのようなマップを学習する方法を示す。 その結果は、低次元の潜在空間上で一意に定義される非常に表現性の高い生成モデルのクラスである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Beyond estimating parameters of interest from data, one of the key goals of statistical inference is to properly quantify uncertainty in these estimates. In Bayesian inference, this uncertainty is provided by the posterior distribution, the computation of which typically involves an intractable high-dimensional integral. Among available approximation methods, sampling-based approaches come with strong theoretical guarantees but scale poorly to large problems, while variational approaches scale well but offer few theoretical guarantees. In particular, variational methods are known to produce overconfident estimates of posterior uncertainty and are typically non-identifiable, with many latent variable configurations generating equivalent predictions. Here, we address these challenges by showing how diffusion-based models (DBMs), which have recently produced state-of-the-art performance in generative modeling tasks, can be repurposed for performing calibrated, identifiable Bayesian inference. By exploiting a previously established connection between the stochastic and probability flow ordinary differential equations (pfODEs) underlying DBMs, we derive a class of models, inflationary flows, that uniquely and deterministically map high-dimensional data to a lower-dimensional Gaussian distribution via ODE integration. This map is both invertible and neighborhood-preserving, with controllable numerical error, with the result that uncertainties in the data are correctly propagated to the latent space. We demonstrate how such maps can be learned via standard DBM training using a novel noise schedule and are effective at both preserving and reducing intrinsic data dimensionality. The result is a class of highly expressive generative models, uniquely defined on a low-dimensional latent space, that afford principled Bayesian inference.
• Abstract（参考訳）: データから興味のパラメータを推定する以外に、統計的推測の重要な目的の1つは、これらの推定における不確実性を適切に定量化することである。 ベイズ予想では、この不確実性は後続分布によって提供され、その計算は通常、難解な高次元積分を含む。 利用可能な近似法の中で、サンプリングベースのアプローチは強力な理論的保証を持つが、大きな問題に対して低いスケールでスケールする一方、変分的アプローチはうまくスケールするが、理論的保証はほとんど得られない。 特に、変分法は後続の不確かさの過信推定を生成することが知られており、典型的には識別不可能であり、多くの潜時変数構成は等価な予測を生成する。 本稿では,最近生成的モデリングタスクにおける最先端性能を生み出した拡散モデル (DBM) を,キャリブレーションされた同定可能なベイズ推定にどのように再利用できるかを示すことで,これらの課題に対処する。 確率フロー常微分方程式 (pfODEs) と確率フロー常微分方程式 (pfODEs) との以前に確立された接続を利用することで、高次元データを一意的に決定的にODE積分を介して低次元ガウス分布にマッピングするモデル、インフレーションフローのクラスを導出する。 この写像は可逆的かつ近傍保存的であり、制御可能な数値誤差があり、その結果、データの不確実性は遅延空間に正しく伝播する。 本稿では,新しいノイズスケジュールを用いた標準的なDBMトレーニングを通じてそのようなマップを学習する方法を実証し,本質的なデータ次元の保存と低減に有効であることを示す。 その結果は高表現的な生成モデルのクラスであり、低次元の潜在空間上で一意に定義される。

関連論文リスト

• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 本稿では,テキスト・インフルエンス・ファンクション・フレームワークを開発することにより,このような課題に対処することを目的とする。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• A Likelihood Based Approach to Distribution Regression Using Conditional Deep Generative Models [6.647819824559201]
  本研究では,条件付き深部生成モデルの推定のための可能性に基づくアプローチの大規模サンプル特性について検討する。 その結果,条件分布を推定するための最大極大推定器の収束率を導いた。
  論文  参考訳（メタデータ） (2024-10-02T20:46:21Z)
• Stochastic full waveform inversion with deep generative prior for uncertainty quantification [0.0]
  フルウェーブフォーム・インバージョン(FWI)は非線形でしばしば不均一な逆問題を解決する。 FWIは、局所的なミニマトラップや不確実性の不十分な処理といった課題を提示している。 本研究では,ベイジアン逆転に対する物理パラメータの事前分布として,深部生成モデルを活用することを提案する。
  論文  参考訳（メタデータ） (2024-06-07T11:44:50Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Quantifying Model Predictive Uncertainty with Perturbation Theory [21.591460685054546]
  本稿では,ニューラルネットワークの予測不確実性定量化のためのフレームワークを提案する。 量子物理学の摂動理論を用いてモーメント分解問題を定式化する。 我々の手法は、より高精度でキャリブレーションの高い高速なモデル予測不確実性推定を提供する。
  論文  参考訳（メタデータ） (2021-09-22T17:55:09Z)
• A likelihood approach to nonparametric estimation of a singular distribution using deep generative models [4.329951775163721]
  深部生成モデルを用いた特異分布の非パラメトリック推定の可能性について検討する。 我々は、インスタンスノイズでデータを摂動することで、新しい効果的な解が存在することを証明した。 また、より深い生成モデルにより効率的に推定できる分布のクラスを特徴付ける。
  論文  参考訳（メタデータ） (2021-05-09T23:13:58Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。