論文の概要: In-Context Learning Is Provably Bayesian Inference: A Generalization Theory for Meta-Learning

• arxiv url: http://arxiv.org/abs/2510.10981v1
• Date: Mon, 13 Oct 2025 03:42:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.187969
• Title: In-Context Learning Is Provably Bayesian Inference: A Generalization Theory for Meta-Learning
• Title（参考訳）: In-Context Learning is Provably Bayesian Inference: A Generalization Theory for Meta-Learning
• Authors: Tomoya Wakayama, Taiji Suzuki,
• Abstract要約: 本稿では,ICLリスクをベイズギャップとポストリアバリアンスの2つのコンポーネントに分割する基本的リスク分解を導入する。 一様アテンション変換器の場合、このギャップの非漸近上界を導出し、事前学習プロンプトの数への依存を明確にする。 後方変動は本質的なタスクの不確実性を表すモデルに依存しないリスクである。
• 参考スコア（独自算出の注目度）: 51.56484100374058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper develops a finite-sample statistical theory for in-context learning (ICL), analyzed within a meta-learning framework that accommodates mixtures of diverse task types. We introduce a principled risk decomposition that separates the total ICL risk into two orthogonal components: Bayes Gap and Posterior Variance. The Bayes Gap quantifies how well the trained model approximates the Bayes-optimal in-context predictor. For a uniform-attention Transformer, we derive a non-asymptotic upper bound on this gap, which explicitly clarifies the dependence on the number of pretraining prompts and their context length. The Posterior Variance is a model-independent risk representing the intrinsic task uncertainty. Our key finding is that this term is determined solely by the difficulty of the true underlying task, while the uncertainty arising from the task mixture vanishes exponentially fast with only a few in-context examples. Together, these results provide a unified view of ICL: the Transformer selects the optimal meta-algorithm during pretraining and rapidly converges to the optimal algorithm for the true task at test time.
• Abstract（参考訳）: 本稿では,多種多様なタスクタイプが混在するメタラーニングフレームワーク内で解析された,文脈内学習のための有限サンプル統計理論(ICL)を開発する。 本稿では,ICCリスクを2つの直交成分(ベイズギャップと後変動)に分割する基本的リスク分解を導入する。 ベイズギャップは、トレーニングされたモデルがベイズ最適インコンテキスト予測器をいかにうまく近似するかを定量化する。 一様アテンション変換器の場合、このギャップの非漸近上界を導出し、事前学習プロンプトの数とその文脈長への依存を明確にする。 後方変動は本質的なタスクの不確実性を表すモデルに依存しないリスクである。 我々の重要な発見は、この用語が真に根底にあるタスクの難しさによってのみ決定されるのに対して、タスクの混合から生じる不確実性は、少数のインコンテキスト例だけで指数関数的に急速に消滅するということである。 トランスフォーマーは事前学習中に最適なメタアルゴリズムを選択し、テスト時に真のタスクに対して最適なアルゴリズムに迅速に収束する。

関連論文リスト

• In-Context Learning as Nonparametric Conditional Probability Estimation: Risk Bounds and Optimality [9.893068784551879]
  我々は各タスクをラベル付き例のシーケンスとして形式化し、次にクエリ入力を行い、事前訓練されたモデルがクエリの条件付きクラス確率を推定する。 予測余剰リスクは、予測された条件クラス分布と真条件クラス分布の間の平均トラルバック・リーブラー(KL)偏差として定義される。 我々は、このリスクに対して、KLの発散に基づく新しいオラクルの不等式を、マルチクラス分類において確立する。
  論文  参考訳（メタデータ） (2025-08-12T06:42:10Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• In-context Learning Generalizes, But Not Always Robustly: The Case of Syntax [36.98247762224868]
  In-context Learning (ICL)は、現在、大規模言語モデル(LLM)の新しいタスクを教える一般的な方法である。 モデルは、文脈によって定義されたタスクの基盤構造を推論するか、あるいは、同じ分散例にのみ一般化する表面一般化に依存するか? GPT, PaLM, および Llama 2 ファミリーのモデルを用いた実験では, LM 間で大きなばらつきが認められた。 この分散は、モデルサイズよりも事前学習コーパスと監督方法の構成によりより説明される。
  論文  参考訳（メタデータ） (2023-11-13T23:52:43Z)
• How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression? [92.90857135952231]
  様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。 線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
  論文  参考訳（メタデータ） (2023-10-12T15:01:43Z)
• Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via Online High-Confidence Change-Point Detection [7.685002911021767]
  非定常環境におけるポリシーを効率的に学習するアルゴリズムを導入する。 これは、リアルタイム、高信頼な変更点検出統計において、潜在的に無限のデータストリームと計算を解析する。 i) このアルゴリズムは, 予期せぬ状況変化が検出されるまでの遅延を最小限に抑え, 迅速な応答を可能にする。
  論文  参考訳（メタデータ） (2021-05-20T01:57:52Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。