論文の概要: Is In-Context Reinforcement Learning A Posterior Sampler? An Empirical Study

• arxiv url: http://arxiv.org/abs/2610.28977v1
• Date: Tue, 20 Oct 2026 22:53:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.157975
• Title: Is In-Context Reinforcement Learning A Posterior Sampler? An Empirical Study
• Title（参考訳）: インテクスト強化学習は後部サンプリングか? : 実証的研究
• Abstract要約: インコンテキスト強化学習は、大きな言語モデルの印象的なインコンテキスト学習能力を利用して、パラメータを更新することなく、新しい、見えないタスクを推論時にゼロショットで一般化する。 DPT(Decision-Pretrained Transformer)はその理論的根拠として特に魅力的である。 ICRL、具体的にはDPTと提案されているDPT変異体、実際はベイジアン後部サンプリング器?
• 参考スコア（独自算出の注目度）: 10.241870724926946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context reinforcement learning (ICRL) exploits the impressive in-context learning ability of large language models to zero-shot generalize to new, unseen tasks at inference time without any parameter updates. Among many approaches, the Decision-Pretrained Transformer (DPT) is particularly appealing for its theoretical grounding: under idealized assumptions such as a sufficiently expressive model and infinite pretraining data, DPT can perform Bayesian posterior sampling. Whether this characterization survives in practice remains open. Therefore, we ask: \textit{is ICRL, specifically DPT and our proposed DPT variants, a Bayesian posterior sampler in practice?} To approach this question, we establish two necessary conditions that a Bayesian posterior sampler must satisfy: \textit{sufficient-statistic invariance} and the \textit{martingale property}. We then construct statistical hypothesis tests to statistically assess if practically-trained ICRL models satisfy these conditions. Applying these tests in Gaussian, Bernoulli, and linear bandit settings, we find that both conditions are consistently violated, suggesting that ICRL may not behave as Bayesian posterior samplers in practice. Beyond this negative result, our tests provide a principled toolkit for testing the Bayesian behavior of ICRL.
• Abstract（参考訳）: インコンテキスト強化学習(ICRL)は、大きな言語モデルの印象的なインコンテキスト学習能力を利用して、パラメータを更新することなく、新しい未知のタスクを推論時にゼロショットで一般化する。 多くのアプローチの中で、DPT(Decision-Pretrained Transformer)はその理論的根拠として特に魅力的であり、十分に表現されたモデルや無限の事前学習データのような理想的な仮定の下で、DPTはベイズ的後続サンプリングを行うことができる。 この特徴が実際に残っているかどうかは未定である。 したがって、次のような質問をする: \textit{is ICRL、具体的には DPT と提案されている DPT 変種、実際はベイズ的後部サンプリング器? この問題にアプローチするために、ベイズ的後続サンプリングが満たさなければならない2つの必要条件を確立する: \textit{sufficient-statistic invariance} と \textit{martingale property}。 次に統計的仮説テストを構築し,実際のICRLモデルがこれらの条件を満たすかどうかを統計的に評価する。 これらの試験をガウシアン、ベルヌーイ、線形バンディットの設定に適用すると、両方の条件が一貫して違反していることが判明し、ICRLは実際にベイズ的後続サンプリングとして振る舞うことができないことが示唆された。 この否定的な結果の他に、我々のテストは ICRL のベイズ的挙動をテストするための原理的ツールキットを提供する。

関連論文リスト

• Valid Feature-Level Inference for Tabular Foundation Models via the Conditional Randomization Test [0.0]
  本稿では,条件付きランダム化テスト(CRT)とTabPFNを組み合わせた機能レベルの仮説テストの実践的アプローチを提案する。 その結果、非線形かつ相関的な設定であっても、条件的特徴関連性に対して有限サンプルの有効なp値が得られる。
  論文  参考訳（メタデータ） (2026-02-19T05:58:11Z)
• Universal priors: solving empirical Bayes via Bayesian inference and pretraining [25.835876583903282]
  合成データに事前学習した変換器は,経験的ベイズ(EB)問題に対して高い性能を達成する。 我々は,事前訓練したベイズ推定器が任意の試験分布に適応できる理由を問う。
  論文  参考訳（メタデータ） (2026-02-16T19:29:27Z)
• Kernel conditional tests from learning-theoretic bounds [16.813275168865953]
  本研究では,条件付き確率分布の仮説テストのためのフレームワークを提案する。 次に、条件分布の関数の統計的テストを構築する。 本研究は,機能検査の総合的基盤を構築した。
  論文  参考訳（メタデータ） (2025-06-04T12:53:13Z)
• Generalized Bayesian deep reinforcement learning [2.469908534801392]
  マルコフ依存を前提として,未知環境のダイナミクスを深層生成モデルを用いてモデル化することを提案する。 これらのモデルに可能性関数が存在しない場合、一般化された予測順序(または述語)スコアリング規則(SR)を学習して訓練する。 政策学習では,後部分布に関する期待値関数を最大化することにより,最適な政策を学習するためのトンプソンサンプリング(ETS)を提案する。
  論文  参考訳（メタデータ） (2024-12-16T13:02:17Z)
• How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression? [92.90857135952231]
  様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。 線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
  論文  参考訳（メタデータ） (2023-10-12T15:01:43Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [117.72709110877939]
  テスト時間適応(TTA)は、事前訓練されたモデルをテスト中に、予測する前にラベルのないデータに適応する可能性がある。 TTAはテスト時間領域適応、テスト時間バッチ適応、オンラインテスト時間適応といったテストデータの形態に基づいて、いくつかの異なるグループに分類される。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
  セマンティックセグメンテーションのための自己適応型アプローチを提案する。 整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。 実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-08-10T12:29:01Z)
• Robust Continual Test-time Adaptation: Instance-aware BN and Prediction-balanced Memory [58.72445309519892]
  テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。 a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
  論文  参考訳（メタデータ） (2022-08-10T03:05:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。