論文の概要: Amortized In-Context Bayesian Posterior Estimation

• arxiv url: http://arxiv.org/abs/2502.06601v1
• Date: Mon, 10 Feb 2025 16:00:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:36:16.289092
• Title: Amortized In-Context Bayesian Posterior Estimation
• Title（参考訳）: Amortized In-Context Bayesian Posterior Estimation
• Authors: Sarthak Mittal, Niels Leif Bracher, Guillaume Lajoie, Priyank Jaini, Marcus Brubaker,
• Abstract要約: 償却は条件付き推定を通じて、そのような困難を和らげるための実行可能な戦略である。 本研究では,アモルト化インコンテクストベイズ推定手法の徹底的な比較分析を行う。 本稿では,予測問題に対する逆KL推定器の優位性,特に変圧器アーキテクチャと正規化フローを併用した場合に強調する。
• 参考スコア（独自算出の注目度）: 15.714462115687096
• License:
• Abstract: Bayesian inference provides a natural way of incorporating prior beliefs and assigning a probability measure to the space of hypotheses. Current solutions rely on iterative routines like Markov Chain Monte Carlo (MCMC) sampling and Variational Inference (VI), which need to be re-run whenever new observations are available. Amortization, through conditional estimation, is a viable strategy to alleviate such difficulties and has been the guiding principle behind simulation-based inference, neural processes and in-context methods using pre-trained models. In this work, we conduct a thorough comparative analysis of amortized in-context Bayesian posterior estimation methods from the lens of different optimization objectives and architectural choices. Such methods train an amortized estimator to perform posterior parameter inference by conditioning on a set of data examples passed as context to a sequence model such as a transformer. In contrast to language models, we leverage permutation invariant architectures as the true posterior is invariant to the ordering of context examples. Our empirical study includes generalization to out-of-distribution tasks, cases where the assumed underlying model is misspecified, and transfer from simulated to real problems. Subsequently, it highlights the superiority of the reverse KL estimator for predictive problems, especially when combined with the transformer architecture and normalizing flows.
• Abstract（参考訳）: ベイズ推論は、事前の信念を取り入れ、確率測度を仮説の空間に割り当てる自然な方法を提供する。 現在の解決策は、マルコフ・チェイン・モンテカルロ(MCMC)サンプリングや変分推論(VI)のような反復的なルーチンに依存している。 Amortizationは、条件付き推定を通じて、そのような困難を緩和するための実行可能な戦略であり、シミュレーションベースの推論、ニューラルプロセス、事前訓練されたモデルを用いたコンテキスト内手法の指針となっている。 本研究では,異なる最適化目標とアーキテクチャ選択のレンズを用いて,アモルト化インコンテキストベイズ推定手法の徹底的な比較分析を行う。 このような方法は、変圧器のようなシーケンスモデルにコンテキストとして渡されるデータ例のセットに条件付けすることで、償却推定器に後続パラメータ推論を行うように訓練する。 言語モデルとは対照的に、置換不変アーキテクチャは、文脈例の順序付けに真の後部が不変であるものとして活用する。 我々の経験的研究は、分布外タスクへの一般化、仮定された基礎モデルが誤って特定された場合、シミュレーションから実際の問題への遷移を含む。 その後、特にトランスアーキテクチャと正規化フローを組み合わせた場合、予測問題に対する逆KL推定器の優位性を強調した。

関連論文リスト

• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Intrinsic Gaussian Process Regression Modeling for Manifold-valued Response Variable [6.137918306133745]
  本稿では,多様体値データに対する固有ガウス過程回帰モデルを提案する。 我々は,情報整合性や後続整合性を含む提案モデルの特性を確立する。 シミュレーションや実例を含む数値的な研究は,提案手法が有効であることを示唆している。
  論文  参考訳（メタデータ） (2024-11-28T08:27:59Z)
• Variational Autoencoders for Efficient Simulation-Based Inference [0.3495246564946556]
  本稿では、確率自由なシミュレーションに基づく推論のための変分推論フレームワークに基づく生成的モデリング手法を提案する。 我々は,これらのモデルの有効性を,フローベースアプローチに匹敵する結果が得られるように,確立されたベンチマーク問題に対して示す。
  論文  参考訳（メタデータ） (2024-11-21T12:24:13Z)
• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• Improving Diffusion Models for Inverse Problems Using Optimal Posterior Covariance [52.093434664236014]
  近年の拡散モデルは、特定の逆問題に対して再訓練することなく、ノイズの多い線形逆問題に対する有望なゼロショット解を提供する。 この発見に触発されて、我々は、最大推定値から決定されるより原理化された共分散を用いて、最近の手法を改善することを提案する。
  論文  参考訳（メタデータ） (2024-02-03T13:35:39Z)
• Refining Amortized Posterior Approximations using Gradient-Based Summary Statistics [0.9176056742068814]
  逆問題の文脈における後部分布の補正近似を改善するための反復的枠組みを提案する。 そこで我々は,本手法をスタイリング問題に適用して制御条件で検証し,改良された後部近似を各繰り返しで観察する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:19Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Learning Invariant Representations under General Interventions on the Response [2.725698729450241]
  線形構造因果モデル(SCM)に着目し、不変整合性(IMP)を導入する。 離散環境と連続環境の両方において,本手法の一般化誤差を解析する。
  論文  参考訳（メタデータ） (2022-08-22T03:09:17Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• Posterior-Aided Regularization for Likelihood-Free Inference [23.708122045184698]
  後補助正規化(PAR)は,モデル構造に関係なく,密度推定器の学習に適用可能である。 単一のニューラルネットワークを用いて逆KL項と相互情報項の両方を推定するPARの統一推定方法を提供する。
  論文  参考訳（メタデータ） (2021-02-15T16:59:30Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。