論文の概要: Transformers as Bayesian In-Context Experimenters: Smoothness-Adaptive Efficient ATE Estimation

• arxiv url: http://arxiv.org/abs/2606.31184v1
• Date: Tue, 30 Jun 2026 06:13:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.094245
• Title: Transformers as Bayesian In-Context Experimenters: Smoothness-Adaptive Efficient ATE Estimation
• Title（参考訳）: ベイズ的インコンテクスト実験としての変圧器:滑らか度適応型効率ate推定
• Abstract要約: オラクルルールは未知のアーム条件の結果のばらつきを管理する。 ベイジアン・イン・コンテクストの実験者について紹介する:ベイジアン・レイマン教師を模倣するために訓練されたトランスフォーマー・ポリシー。 教師付き事前学習を用いて,経験的リスク最小化によって,この償却政策を学習できることを実証する。
• 参考スコア（独自算出の注目度）: 17.307558133132165
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adaptive experiments for average treatment effects (ATE) require randomized allocations balancing valid inference with statistical efficiency. The oracle design is a covariate-dependent Neyman rule governed by unknown arm-conditional outcome variances. We investigate whether this sequential variance-estimation and allocation process can be amortized via in-context learning. We introduce Bayesian in-context experimenters: transformer policies trained to imitate a Bayesian posterior Neyman teacher. The teacher updates nonparametric beliefs over potential outcomes using experimental history to assign posterior Neyman treatment probabilities. This design converges to the oracle rule, supporting efficient ATE inference. Transformers constructively implement this mapping through attention-based sufficient statistics and projected gradient descent, imitating Bayesian updating for Gaussian-series priors. To address unknown outcome smoothness, we combine smoothness-indexed experimenters using a mixture-of-experts transformer. The gate acts as a hierarchical posterior over smoothness classes, concentrating on near-oracle experts. By bounding the complexity of the transformer class, we prove this amortized policy can be learned via empirical risk minimization using supervised pretraining. Experiments confirm accurate teacher imitation, adaptive allocation, and improved ATE precision over baselines.
• Abstract（参考訳）: 平均処理効果(ATE)に対する適応的な実験は、統計的効率と妥当な推論のバランスをとるランダムな割り当てを必要とする。 オラクル設計は、未知のアーム条件の結果のばらつきによって支配される共変量依存のネイマン規則である。 本研究では,この逐次的分散推定とアロケーションのプロセスが,文脈内学習によって改善できるかどうかを考察する。 ベイジアン・イン・コンテクストの実験者について紹介する:ベイジアン・レイマン教師を模倣するために訓練されたトランスフォーマー・ポリシー。 教師は実験履歴を用いて、潜在的な結果に対する非パラメトリックな信念を更新し、後続のネイマン治療の確率を割り当てる。 この設計はオラクル規則に収束し、効率的なATE推論をサポートする。 変換子は、ガウス級数に対するベイズ的更新を模倣して、注意に基づく十分統計と射影勾配降下を通じて、この写像を構成的に実装する。 未知の結果の滑らかさに対処するため,実験者は実験用混合変圧器を用いてスムーズなインデクシング実験を行った。 門は平滑性に関する階層的な後部階級として機能し、概日光の専門家に集中している。 変圧器類の複雑性を束縛することにより、教師付き事前学習を用いて、経験的リスク最小化によって、この償却政策を学習できることを証明できる。 実験では、教師の正確な模倣、適応的アロケーション、ベースライン上のATE精度の改善が確認された。

関連論文リスト

• Adaptive Bayesian Online Learning via Expert Aggregation [1.8620637029128548]
  オンライン共形推論とガウス過程回帰におけるフレームワークのインスタンス化を行う。 実験によると、アグリゲートはオラクルの専門家の選択なしで強力な専門家を追跡する。
  論文  参考訳（メタデータ） (2026-07-22T14:59:09Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• DARTS: Targeting Prognostic Covariates in Budget-Constrained Sequential Experiments [47.61857875238484]
  我々はトンプソンサンプリング(DARTS)による動的適応的ランダム化を導入する。 DARTSは、共変量取得を設計に基づく因果推論タスクに埋め込まれた逐次最適化問題として扱う。 我々は,最小限の値と対数的因子とを一致させる獲得層に対してベイズリスクを導出する。
  論文  参考訳（メタデータ） (2026-05-07T17:27:51Z)
• Transformers Learn Robust In-Context Regression under Distributional Uncertainty [14.348332291561086]
  広帯域分布シフト下での雑音線形回帰の文脈内学習について検討した。 最適あるいは最適でない古典的ベースラインに対する変換器を、対応する最大形基準の下で比較する。 あらゆる設定で、Transformerは一貫してこれらのベースラインにマッチするか、上回っている。
  論文  参考訳（メタデータ） (2026-03-19T07:24:48Z)
• How Transformers Learn In-Context Recall Tasks? Optimality, Training Dynamics and Generalization [23.759737527800585]
  コンテクスト内リコールタスクで訓練された変換器の近似能力,収束速度,収束挙動について検討した。 トレーニングされたトランスフォーマーは,分布外分布の一般化,すなわち人口分布外のサンプルへの一般化を示す。
  論文  参考訳（メタデータ） (2025-05-21T01:26:44Z)
• Transformers can optimally learn regression mixture models [22.85684729248361]
  変換器は回帰の混合に対して最適な予測器を学習できることを示す。 実験では、トランスフォーマーがサンプル効率のよい方法で回帰の混合を学習できることも示している。 決定理論の最適手順が実際に変換器によって実装可能であることを具体的確に証明する。
  論文  参考訳（メタデータ） (2023-11-14T18:09:15Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
  ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。 入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。 新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
  論文  参考訳（メタデータ） (2023-09-28T22:41:47Z)
• Bayes in Wonderland! Predictive supervised classification inference hits unpredictability [1.8814209805277506]
  デ・フィネッティ型の交換性の下でsBpcとmBpcの収束を示す。 また、分割交換可能なシーケンスを生じる生成モデルのパラメータ推定も行う。
  論文  参考訳（メタデータ） (2021-12-03T12:34:52Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。