論文の概要: In-Context Parametric Inference: Point or Distribution Estimators?

• arxiv url: http://arxiv.org/abs/2502.11617v1
• Date: Mon, 17 Feb 2025 10:00:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:17:08.675157
• Title: In-Context Parametric Inference: Point or Distribution Estimators?
• Title（参考訳）: In-Context Parametric Inference: Point or Distribution Estimator?
• Authors: Sarthak Mittal, Yoshua Bengio, Nikolay Malkin, Guillaume Lajoie,
• Abstract要約: 償却点推定器は一般に後部推論より優れているが、後者は低次元問題では競争力がある。 実験の結果, 償却点推定器は一般に後部推定より優れているが, 後者は低次元問題では競争力があることがわかった。
• 参考スコア（独自算出の注目度）: 66.22308335324239
• License:
• Abstract: Bayesian and frequentist inference are two fundamental paradigms in statistical estimation. Bayesian methods treat hypotheses as random variables, incorporating priors and updating beliefs via Bayes' theorem, whereas frequentist methods assume fixed but unknown hypotheses, relying on estimators like maximum likelihood. While extensive research has compared these approaches, the frequentist paradigm of obtaining point estimates has become predominant in deep learning, as Bayesian inference is challenging due to the computational complexity and the approximation gap of posterior estimation methods. However, a good understanding of trade-offs between the two approaches is lacking in the regime of amortized estimators, where in-context learners are trained to estimate either point values via maximum likelihood or maximum a posteriori estimation, or full posteriors using normalizing flows, score-based diffusion samplers, or diagonal Gaussian approximations, conditioned on observations. To help resolve this, we conduct a rigorous comparative analysis spanning diverse problem settings, from linear models to shallow neural networks, with a robust evaluation framework assessing both in-distribution and out-of-distribution generalization on tractable tasks. Our experiments indicate that amortized point estimators generally outperform posterior inference, though the latter remain competitive in some low-dimensional problems, and we further discuss why this might be the case.
• Abstract（参考訳）: ベイズ的および頻繁な推測は統計的推定の2つの基本的なパラダイムである。 ベイズ法は仮説を確率変数として扱い、事前を取り入れ、ベイズの定理を通じて信念を更新する一方、頻繁な手法は固定的だが未知の仮説を仮定し、最大可能性のような推定器に依存する。 より広範な研究がこれらのアプローチと比較されているが、ベイジアン推論は計算複雑性と後方推定法の近似ギャップのために困難であるため、ポイント推定を得るという頻繁なパラダイムが深層学習において主流となっている。 しかし、この2つの手法のトレードオフをよく理解することは、文脈内学習者は、最大極大または最大アプリート推定によるポイント値、あるいは正規化フロー、スコアベース拡散サンプリング、あるいは対角ガウス近似を用いて完全な後部を推定するよう訓練される、償却推定器の体制に欠けている。 これを解決するために、線形モデルから浅層ニューラルネットワークまで多様な問題設定にまたがる厳密な比較分析を行う。 実験の結果, 償却点推定器は一般に後部推定より優れているが, 後者は低次元問題では競争力に乏しいことが示唆された。

関連論文リスト

• A Mean Field Approach to Empirical Bayes Estimation in High-dimensional Linear Regression [8.345523969593492]
  高次元線形回帰における経験的ベイズ推定について検討する。 もともとCarbonetto and Stephens (2012) と Kim et al. (2022) で導入された変分経験ベイズアプローチを採用する。 これは、空間性のない高次元回帰設定において、最初の厳密な経験的ベイズ法を提供する。
  論文  参考訳（メタデータ） (2023-09-28T20:51:40Z)
• Adversarial robustness of amortized Bayesian inference [3.308743964406687]
  償却ベイズ推論は、当初シミュレーションデータ上の推論ネットワークのトレーニングに計算コストを投資することを目的としている。 観測対象のほとんど認識不能な摂動は、予測された後部および非現実的な後部予測標本に劇的な変化をもたらす可能性があることを示す。 本研究では,条件密度推定器のフィッシャー情報をペナライズした計算効率の高い正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:18:45Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Density Estimation with Autoregressive Bayesian Predictives [1.5771347525430772]
  密度推定の文脈では、標準的なベイズ的アプローチは、後方予測をターゲットとする。 我々は、データを潜在空間にマッピングする自己回帰ニューラルネットワークを用いて、帯域幅の新たなパラメータ化を開発する。
  論文  参考訳（メタデータ） (2022-06-13T20:43:39Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Residual Overfit Method of Exploration [78.07532520582313]
  提案手法は,2点推定値の調整と1点オーバーフィットに基づく近似探索手法を提案する。 このアプローチは、調整されたモデルと比較して、オーバーフィットモデルが最も過度な適合を示すアクションへの探索を促進する。 ROMEを3つのデータセット上の確立されたコンテキスト的帯域幅法と比較し、最も優れたパフォーマンスの1つとみなす。
  論文  参考訳（メタデータ） (2021-10-06T17:05:33Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
  本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。 我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。 実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
  論文  参考訳（メタデータ） (2021-05-25T14:35:46Z)
• Simulation comparisons between Bayesian and de-biased estimators in low-rank matrix completion [0.0]
  本稿では,学習課題のクラスである低ランク行列補完問題について検討する。 我々はベイズ的アプローチと最近導入された非バイアス推定器を比較し、利害関係の信頼区間を構築するのに有用な方法を提供する。 その結果,非バイアス推定器で得られた信頼区間の被曝率は,信頼区間よりも絶対的に低いことがわかった。
  論文  参考訳（メタデータ） (2021-03-22T12:02:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。