論文の概要: Effortless, Simulation-Efficient Bayesian Inference using Tabular Foundation Models
- arxiv url: http://arxiv.org/abs/2504.17660v1
- Date: Thu, 24 Apr 2025 15:29:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.435607
- Title: Effortless, Simulation-Efficient Bayesian Inference using Tabular Foundation Models
- Title（参考訳）: タブラル基礎モデルを用いた不運, シミュレーション効率の良いベイズ推論
- Authors: Julius Vetter, Manuel Gloeckler, Daniel Gedon, Jakob H. Macke,
- Abstract要約: 本研究では,TabPFNをシミュレーションベース推論のための自己回帰条件密度推定器として用いる方法を示す。
NPE-PFは、推論ネットワークの選択、トレーニング、ハイパーパラメータチューニングの必要性を排除する。
モデルミス特定に優れたロバスト性を示し、TabPFNのコンテキストサイズ限界を超えるシミュレーション予算にスケールできる。
- 参考スコア（独自算出の注目度）: 5.952993835541411
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Simulation-based inference (SBI) offers a flexible and general approach to performing Bayesian inference: In SBI, a neural network is trained on synthetic data simulated from a model and used to rapidly infer posterior distributions for observed data. A key goal for SBI is to achieve accurate inference with as few simulations as possible, especially for expensive simulators. In this work, we address this challenge by repurposing recent probabilistic foundation models for tabular data: We show how tabular foundation models -- specifically TabPFN -- can be used as pre-trained autoregressive conditional density estimators for SBI. We propose Neural Posterior Estimation with Prior-data Fitted Networks (NPE-PF) and show that it is competitive with current SBI approaches in terms of accuracy for both benchmark tasks and two complex scientific inverse problems. Crucially, it often substantially outperforms them in terms of simulation efficiency, sometimes requiring orders of magnitude fewer simulations. NPE-PF eliminates the need for inference network selection, training, and hyperparameter tuning. We also show that it exhibits superior robustness to model misspecification and can be scaled to simulation budgets that exceed the context size limit of TabPFN. NPE-PF provides a new direction for SBI, where training-free, general-purpose inference models offer efficient, easy-to-use, and flexible solutions for a wide range of stochastic inverse problems.
- Abstract（参考訳）: シミュレーションベースの推論(SBI)は、ベイズ推論を実行するための柔軟で一般的なアプローチを提供する: SBIでは、ニューラルネットワークはモデルからシミュレートされた合成データに基づいて訓練され、観測されたデータに対する後部分布を迅速に推測するために使用される。
SBIの重要な目標は、特に高価なシミュレーターにおいて、可能な限り少ないシミュレーションで正確な推論を行うことである。
本稿では,最近の確率的基礎モデルを表データに再定義することで,この問題に対処する。 表ベースモデル,特にTabPFNは,SBIの自己回帰的条件密度推定器として,事前訓練された利用方法を示す。
本稿では,NPE-PF(Neural Posterior Estimation with Prior-data Fitted Networks)を提案する。
重要な点として、シミュレーション効率の面ではかなり優れており、時には桁違いに少ないシミュレーションを必要とすることがある。
NPE-PFは、推論ネットワークの選択、トレーニング、ハイパーパラメータチューニングの必要性を排除する。
また,TabPFNのコンテキストサイズ限界を超えるシミュレーション予算にスケールできるため,モデルミス特定に優れたロバスト性を示すことを示す。
NPE-PF は SBI の新たな方向性を提供しており、訓練のない汎用推論モデルは、幅広い確率的逆問題に対して効率的で使いやすい、柔軟なソリューションを提供する。
関連論文リスト
- Robust Simulation-Based Inference under Missing Data via Neural Processes [6.32765579505162]
我々は,SBIにおける欠落データの問題を定式化し,本手法がSBI後部推定にバイアスをもたらすことを示す。
また,神経後部推定フレームワークにおいて,計算モデルと推論ネットワークを共同で学習することにより,この問題に対処する新しい補正手法を提案する。
論文 参考訳（メタデータ） (2025-03-03T08:22:01Z) - Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。
本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
論文 参考訳（メタデータ） (2025-02-17T18:04:39Z) - sbi reloaded: a toolkit for simulation-based inference workflows [15.696312591547283]
$texttsbi$は、ニューラルネットワークに基づいたベイズSBIアルゴリズムを実装するPyTorchベースのパッケージである。
texttsbi$ツールキットを使えば、科学者やエンジニアが最先端のSBIメソッドをブラックボックスシミュレータに適用できる。
論文 参考訳（メタデータ） (2024-11-26T11:31:47Z) - Preconditioned Neural Posterior Estimation for Likelihood-free Inference [5.651060979874024]
本稿では,低次元問題においても,神経後部推定法(NPE)の精度は高くないことを示す。
我々は,ABCの短い動作でパラメータ空間の領域を効果的に排除し,シミュレーションとデータ間の大きな相違を生じさせる,プレコンディション付きNPEとそのシーケンシャルバージョン(PSNPE)を提案する。
本稿では, ニューラルネットワークと統計的SBI法を融合させることにより, 様々な事例において性能が向上することを示す。
論文 参考訳（メタデータ） (2024-04-21T07:05:38Z) - Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。
本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。
提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
論文 参考訳（メタデータ） (2024-04-11T09:23:36Z) - Generalized Bayesian Inference for Scientific Simulators via Amortized
Cost Estimation [11.375835331641548]
ニューラルネットワークをトレーニングしてコスト関数を近似し、パラメータと観測データとの予測距離と定義する。
いくつかのベンチマークタスクにおいて、ACEはコストを正確に予測し、他のSBI法よりも合成観測に近い予測シミュレーションを提供する。
論文 参考訳（メタデータ） (2023-05-24T14:45:03Z) - Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。
また、局所的な一貫性の結果に基づいた理論的保証も提供する。
この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
論文 参考訳（メタデータ） (2022-11-17T15:48:06Z) - Neural Posterior Estimation with Differentiable Simulators [58.720142291102135]
微分可能シミュレータを用いてニューラル・ポストミラー推定(NPE)を行う新しい手法を提案する。
勾配情報が後部形状の制約にどのように役立ち、試料効率を向上させるかを示す。
論文 参考訳（メタデータ） (2022-07-12T16:08:04Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - SBI -- A toolkit for simulation-based inference [0.0]
シミュレーションベースの推論 (SBI) は、a) が先行知識と互換性があり、b) が経験的観察と一致するパラメータ集合を識別しようとする。
ニューラルネットワークに基づくSBIアルゴリズムを実装したPyTorchベースのパッケージであるtextttsbi$を提示する。
論文 参考訳（メタデータ） (2020-07-17T16:53:51Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。