論文の概要: A Statistical Assessment of Amortized Inference Under Signal-to-Noise Variation and Distribution Shift

• arxiv url: http://arxiv.org/abs/2601.07944v1
• Date: Mon, 12 Jan 2026 19:21:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:18.914608
• Title: A Statistical Assessment of Amortized Inference Under Signal-to-Noise Variation and Distribution Shift
• Title（参考訳）: 信号対雑音の変動と分布シフトによる補正推論の統計的評価
• Authors: Roy Shivam Ram Shreshtth, Arnab Hazra, Gourab Mukherjee,
• Abstract要約: 近年、ディープニューラルネットワークと基礎モデルの成功により、統計モデリングの新しいパラダイムが生まれている。 償却推論では、近似した後方または予測を生成するニューラルネットワークをトレーニングするために、実質的な計算が前もって投資される。 償却推論の人気が高まっているにもかかわらず、その統計的解釈とベイズ推論におけるその役割はいまだに理解されていない。
• 参考スコア（独自算出の注目度）: 0.9590253747787195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since the turn of the century, approximate Bayesian inference has steadily evolved as new computational techniques have been incorporated to handle increasingly complex and large-scale predictive problems. The recent success of deep neural networks and foundation models has now given rise to a new paradigm in statistical modeling, in which Bayesian inference can be amortized through large-scale learned predictors. In amortized inference, substantial computation is invested upfront to train a neural network that can subsequently produce approximate posterior or predictions at negligible marginal cost across a wide range of tasks. At deployment, amortized inference offers substantial computational savings compared with traditional Bayesian procedures, which generally require repeated likelihood evaluations or Monte Carlo simulations for predictions for each new dataset. Despite the growing popularity of amortized inference, its statistical interpretation and its role within Bayesian inference remain poorly understood. This paper presents statistical perspectives on the working principles of several major neural architectures, including feedforward networks, Deep Sets, and Transformers, and examines how these architectures naturally support amortized Bayesian inference. We discuss how these models perform structured approximation and probabilistic reasoning in ways that yield controlled generalization error across a wide range of deployment scenarios, and how these properties can be harnessed for Bayesian computation. Through simulation studies, we evaluate the accuracy, robustness, and uncertainty quantification of amortized inference under varying signal-to-noise ratios and distributional shifts, highlighting both its strengths and its limitations.
• Abstract（参考訳）: 世紀の変わり目には、より複雑で大規模な予測問題を扱うために新しい計算技術が組み込まれ、近似ベイズ推定は着実に進化してきた。 近年のディープニューラルネットワークと基礎モデルの成功により、ベイジアン推論が大規模学習予測器によって償却されるような、統計モデリングの新しいパラダイムが生まれている。 償却推論では、ニューラルネットワークをトレーニングするためにかなりの計算を前もって投資し、その後、広範囲のタスクで無視可能な限界コストで近似した後方または予測を生成できる。 展開において、償却推論は従来のベイズ法と比較してかなりの計算的節約をもたらすが、これは一般に新しいデータセットの予測には再帰的な可能性評価やモンテカルロシミュレーションを必要とする。 償却推論の人気が高まっているにもかかわらず、その統計的解釈とベイズ推論におけるその役割はいまだに理解されていない。 本稿では、フィードフォワードネットワーク、ディープセット、トランスフォーマーなど、いくつかの主要なニューラルネットワークアーキテクチャの動作原理に関する統計的視点を示し、これらのアーキテクチャが自然にベイズ的推論をサポートするかを検討する。 本稿では,これらのモデルがどのように構成された近似と確率論的推論を,幅広い展開シナリオにおいて制御された一般化誤差をもたらす方法で実行し,それらの特性をベイズ計算に活用するかを論じる。 シミュレーション研究を通じて,信号対雑音比と分布シフトの異なるアモルト化推論の精度,頑健性,不確実性の定量化を評価し,その強度と限界を強調した。

関連論文リスト

• VIKING: Deep variational inference with stochastic projections [48.946143517489496]
  変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。 パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。 これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
  論文  参考訳（メタデータ） (2025-10-27T15:38:35Z)
• In-Context Parametric Inference: Point or Distribution Estimators? [66.22308335324239]
  償却点推定器は一般に後部推論より優れているが、後者は低次元問題では競争力がある。 実験の結果, 償却点推定器は一般に後部推定より優れているが, 後者は低次元問題では競争力があることがわかった。
  論文  参考訳（メタデータ） (2025-02-17T10:00:24Z)
• Variational Bayesian Bow tie Neural Networks with Shrinkage [0.276240219662896]
  我々は,層間における分布仮定や独立性を回避する高速で近似的な変分推論アルゴリズムを開発した。 我々はPolya-Gammaデータ拡張トリックを使用し、条件付き線形およびガウス的モデルを描画する。
  論文  参考訳（メタデータ） (2024-11-17T17:36:30Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Adversarial robustness of amortized Bayesian inference [3.308743964406687]
  償却ベイズ推論は、当初シミュレーションデータ上の推論ネットワークのトレーニングに計算コストを投資することを目的としている。 観測対象のほとんど認識不能な摂動は、予測された後部および非現実的な後部予測標本に劇的な変化をもたらす可能性があることを示す。 本研究では,条件密度推定器のフィッシャー情報をペナライズした計算効率の高い正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:18:45Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• $\beta$-Cores: Robust Large-Scale Bayesian Data Summarization in the Presence of Outliers [14.918826474979587]
  古典的ベイズ推定の質は、観測結果が推定データ生成モデルに適合するかどうかに大きく依存する。 本稿では,大容量データセットに同時スケール可能な変分推論手法を提案する。 多様なシミュレーションおよび実データ、および様々な統計モデルにおいて、我々のアプローチの適用性について説明する。
  論文  参考訳（メタデータ） (2020-08-31T13:47:12Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。