論文の概要: Distribution Transformers: Fast Approximate Bayesian Inference With On-The-Fly Prior Adaptation
- arxiv url: http://arxiv.org/abs/2502.02463v1
- Date: Tue, 04 Feb 2025 16:33:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 15:03:51.897749
- Title: Distribution Transformers: Fast Approximate Bayesian Inference With On-The-Fly Prior Adaptation
- Title（参考訳）: 配電変圧器:オンザフライ事前適応による高速近似ベイズ推定
- Authors: George Whittle, Juliusz Ziomek, Jacob Rawling, Michael A Osborne,
- Abstract要約: 本稿では,任意の分布-分布マッピングを学習可能な新しいアーキテクチャである分散トランスフォーマーを紹介する。
提案手法は,あるデータセットに条件付きで,対応する後部への事前のマッピングを訓練することができる。
我々は、配電変換器が事前の変動に柔軟性を保ち、時間帯を数分からミリ秒に短縮できることを実証した。
- 参考スコア（独自算出の注目度）: 16.582778766729387
- License:
- Abstract: While Bayesian inference provides a principled framework for reasoning under uncertainty, its widespread adoption is limited by the intractability of exact posterior computation, necessitating the use of approximate inference. However, existing methods are often computationally expensive, or demand costly retraining when priors change, limiting their utility, particularly in sequential inference problems such as real-time sensor fusion. To address these challenges, we introduce the Distribution Transformer -- a novel architecture that can learn arbitrary distribution-to-distribution mappings. Our method can be trained to map a prior to the corresponding posterior, conditioned on some dataset -- thus performing approximate Bayesian inference. Our novel architecture represents a prior distribution as a (universally-approximating) Gaussian Mixture Model (GMM), and transforms it into a GMM representation of the posterior. The components of the GMM attend to each other via self-attention, and to the datapoints via cross-attention. We demonstrate that Distribution Transformers both maintain flexibility to vary the prior, and significantly reduces computation times-from minutes to milliseconds-while achieving log-likelihood performance on par with or superior to existing approximate inference methods across tasks such as sequential inference, quantum system parameter inference, and Gaussian Process predictive posterior inference with hyperpriors.
- Abstract（参考訳）: ベイズ推論は不確実性の下での推論の原則的枠組みを提供するが、その普及は正確な後続計算の難易度によって制限され、近似推論を使う必要がある。
しかし、既存の手法は、しばしば計算コストがかかるか、事前変更時にコストがかかることがあり、特にリアルタイムセンサー融合のようなシーケンシャルな推論問題において、その実用性を制限している。
これらの課題に対処するために、任意の分散と分散のマッピングを学習できる新しいアーキテクチャであるDistributed Transformerを紹介します。
我々の手法は、あるデータセットに条件付けされた、対応する後続の事前をマッピングするように訓練することができる。
我々の新しいアーキテクチャは、先行分布を(一様近似)ガウス混合モデル(GMM)として表現し、それを後部のGMM表現に変換する。
GMMのコンポーネントは自己アテンションを介して、データポイントはクロスアテンションを介して、互いに参加する。
本研究では,分散トランスフォーマーが事前変更の柔軟性を維持しつつ,逐次推論,量子システムパラメータ推論,ガウス過程予測後部推論などのタスクにまたがる既存の近似推論手法と同等以上のログライクな性能を実現しながら,計算時間を数分からミリ秒に短縮することを示した。
関連論文リスト
- Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Distributed Variational Inference for Online Supervised Learning [15.038649101409804]
本稿では,スケーラブルな分散確率的推論アルゴリズムを提案する。
センサネットワークにおける連続変数、難解な後部データ、大規模リアルタイムデータに適用できる。
論文 参考訳（メタデータ） (2023-09-05T22:33:02Z) - Federated Learning as Variational Inference: A Scalable Expectation
Propagation Approach [66.9033666087719]
本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。
我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
論文 参考訳（メタデータ） (2023-02-08T17:58:11Z) - Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。
トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。
1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
論文 参考訳（メタデータ） (2022-05-27T11:13:17Z) - Deep surrogate accelerated delayed-acceptance HMC for Bayesian inference
of spatio-temporal heat fluxes in rotating disc systems [0.0]
本稿では,PDEに基づく逆問題に対して,精度を保証して解法を高速化する手法を提案する。
これは、Biot数データとして知られる熱時間パラメータを推定する不適切な問題によって動機付けられている。
論文 参考訳（メタデータ） (2022-04-05T15:09:33Z) - Transformers Can Do Bayesian Inference [56.99390658880008]
我々はPFN(Presideed Data Fitted Networks)を提案する。
PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。
我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
論文 参考訳（メタデータ） (2021-12-20T13:07:39Z) - Adaptive Conformal Inference Under Distribution Shift [0.0]
本研究では,未知の方法でデータ生成分布を時間とともに変化させるオンライン環境において,予測セットを形成する手法を開発した。
我々のフレームワークは、任意のブラックボックスメソッドと組み合わせられる一般的なラッパーを提供するために、共形推論のアイデアに基づいている。
我々は,2つの実世界のデータセット上で適応型共形推論法を検証し,その予測が可視的および有意な分布シフトに対して堅牢であることを見出した。
論文 参考訳（メタデータ） (2021-06-01T01:37:32Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Reducing the Amortization Gap in Variational Autoencoders: A Bayesian
Random Function Approach [38.45568741734893]
GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。
提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
論文 参考訳（メタデータ） (2021-02-05T13:01:12Z) - Beyond the Mean-Field: Structured Deep Gaussian Processes Improve the
Predictive Uncertainties [12.068153197381575]
高速収束を達成しつつ、潜在過程間の共分散を維持できる新しい変分族を提案する。
新しいアプローチの効率的な実装を提供し、それをいくつかのベンチマークデータセットに適用します。
優れた結果をもたらし、最先端の代替品よりも精度とキャリブレーションされた不確実性推定とのバランスが良くなる。
論文 参考訳（メタデータ） (2020-05-22T11:10:59Z) - Batch Stationary Distribution Estimation [98.18201132095066]
サンプル遷移の組を与えられたエルゴードマルコフ鎖の定常分布を近似する問題を考える。
与えられたデータに対する補正比関数の復元に基づく一貫した推定器を提案する。
論文 参考訳（メタデータ） (2020-03-02T09:10:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。