論文の概要: Universal priors: solving empirical Bayes via Bayesian inference and pretraining

• arxiv url: http://arxiv.org/abs/2602.15136v1
• Date: Mon, 16 Feb 2026 19:29:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-18 16:03:17.883788
• Title: Universal priors: solving empirical Bayes via Bayesian inference and pretraining
• Title（参考訳）: 普遍的先行性:ベイズ推定と事前訓練による経験的ベイズ問題の解法
• Authors: Nick Cannella, Anzo Teh, Yanjun Han, Yury Polyanskiy,
• Abstract要約: 合成データに事前学習した変換器は,経験的ベイズ(EB)問題に対して高い性能を達成する。 我々は,事前訓練したベイズ推定器が任意の試験分布に適応できる理由を問う。
• 参考スコア（独自算出の注目度）: 25.835876583903282
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We theoretically justify the recent empirical finding of [Teh et al., 2025] that a transformer pretrained on synthetically generated data achieves strong performance on empirical Bayes (EB) problems. We take an indirect approach to this question: rather than analyzing the model architecture or training dynamics, we ask why a pretrained Bayes estimator, trained under a prespecified training distribution, can adapt to arbitrary test distributions. Focusing on Poisson EB problems, we identify the existence of universal priors such that training under these priors yields a near-optimal regret bound of $\widetilde{O}(\frac{1}{n})$ uniformly over all test distributions. Our analysis leverages the classical phenomenon of posterior contraction in Bayesian statistics, showing that the pretrained transformer adapts to unknown test distributions precisely through posterior contraction. This perspective also explains the phenomenon of length generalization, in which the test sequence length exceeds the training length, as the model performs Bayesian inference using a generalized posterior.
• Abstract（参考訳）: 合成されたデータに基づいて事前学習した変換器が経験的ベイズ(EB)問題に対して強い性能を発揮するという最近の経験的発見を理論的に正当化する。 モデルアーキテクチャやトレーニングダイナミクスを解析する代わりに、事前訓練されたベイズ推定器が、あらかじめ指定されたトレーニング分布の下でトレーニングされた場合、任意のテスト分布に適応できるのかを問う。 ポアソン EB 問題に焦点をあてて、これらの先行条件の下でのトレーニングが、全てのテスト分布に対して$\widetilde{O}(\frac{1}{n})$のほぼ最適後悔境界をもたらすような普遍的先行条件の存在を特定する。 この解析はベイズ統計学における古典的な後部収縮現象を利用しており、事前訓練された変圧器は後部収縮を通じて正確に未知のテスト分布に適応することを示した。 この観点からは、モデルが一般化された後部を用いてベイズ推論を行うため、テストシーケンス長がトレーニング長を超える長さ一般化の現象も説明できる。

関連論文リスト

• Analyzing Generalization in Pre-Trained Symbolic Regression [17.789199791229624]
  記号回帰アルゴリズムは、与えられたデータを説明する公式の数学的式空間を探索する。 トランスフォーマーベースのモデルは、高価な検索を大規模な事前学習フェーズに移行する、有望で有望なアプローチとして現れている。
  論文  参考訳（メタデータ） (2025-09-24T07:47:02Z)
• BAPE: Learning an Explicit Bayes Classifier for Long-tailed Visual Recognition [78.70453964041718]
  現在のディープラーニングアルゴリズムは通常、後部確率を簡易に推定することで最適分類器を解く。 この単純な手法は、厳密にバランスのとれた学術ベンチマークデータセットに有効であることが証明されている。 しかし、これは現実世界の長い尾のデータ分布には適用できない。 本稿では,データ分布のより正確な理論的推定を行う新しい手法(BAPE)を提案する。
  論文  参考訳（メタデータ） (2025-06-29T15:12:50Z)
• How Transformers Learn In-Context Recall Tasks? Optimality, Training Dynamics and Generalization [23.759737527800585]
  コンテクスト内リコールタスクで訓練された変換器の近似能力,収束速度,収束挙動について検討した。 トレーニングされたトランスフォーマーは,分布外分布の一般化,すなわち人口分布外のサンプルへの一般化を示す。
  論文  参考訳（メタデータ） (2025-05-21T01:26:44Z)
• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• Distribution Shift Inversion for Out-of-Distribution Prediction [57.22301285120695]
  本稿では,OoD(Out-of-Distribution)予測のためのポータブル分布シフト変換アルゴリズムを提案する。 提案手法は,OoDアルゴリズムを広範囲に接続した場合に,一般的な性能向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-14T08:00:49Z)
• Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
  セマンティックセグメンテーションのための自己適応型アプローチを提案する。 整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。 実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-08-10T12:29:01Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Posterior concentration and fast convergence rates for generalized Bayesian learning [4.186575888568896]
  一般化ベイズ推定器の一般環境での学習率について検討する。 マルチスケールのベルンシュタインの条件の下では、一般化された後続分布は最適仮説の集合の周りに集中することが証明される。
  論文  参考訳（メタデータ） (2021-11-19T14:25:21Z)
• Convergence Rates of Empirical Bayes Posterior Distributions: A Variational Perspective [20.51199643121034]
  非パラメトリックおよび高次元推論のための経験的ベイズ後部分布の収束率について検討した。 その結果,最大辺縁度推定器によって誘導される経験的ベイズ後部分布は,階層的ベイズ後部分布の変動近似とみなすことができることがわかった。
  論文  参考訳（メタデータ） (2020-09-08T19:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。