論文の概要: Filtering Beats Fine Tuning: A Bayesian Kalman View of In Context Learning in LLMs

• arxiv url: http://arxiv.org/abs/2601.06100v1
• Date: Fri, 02 Jan 2026 21:18:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-25 16:54:51.640332
• Title: Filtering Beats Fine Tuning: A Bayesian Kalman View of In Context Learning in LLMs
• Title（参考訳）: フィルターは微調整に勝る: LLMにおける文脈学習のベイズ的カルマン観
• Authors: Andrew Kiruluta,
• Abstract要約: 本稿では,大規模言語モデルにおける推論時適応をオンラインベイズ状態推定として解釈する理論優先フレームワークを提案する。 線形化状態空間モデルにより制御された低次元潜在状態の逐次的推論としてタスク固有学習とコンテキスト固有学習を定式化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a theory-first framework that interprets inference-time adaptation in large language models (LLMs) as online Bayesian state estimation. Rather than modeling rapid adaptation as implicit optimization or meta-learning, we formulate task- and context-specific learning as the sequential inference of a low-dimensional latent adaptation state governed by a linearized state-space model. Under Gaussian assumptions, adaptation follows a Kalman recursion with closed-form updates for both the posterior mean and covariance. This perspective elevates epistemic uncertainty to an explicit dynamical variable. We show that inference-time learning is driven by covariance collapse, i.e., rapid contraction of posterior uncertainty induced by informative tokens, which typically precedes convergence of the posterior mean. Using observability conditions on token-level Jacobians, we establish stability of the Bayesian filter, prove exponential covariance contraction rates, and derive mean-square error bounds. Gradient descent, natural-gradient methods, and meta-learning updates arise as singular, noise-free limits of the filtering dynamics, positioning optimization-based adaptation as a degenerate approximation of Bayesian inference. The resulting theory provides a unified probabilistic account of in-context learning, parameter-efficient adaptation, and test-time learning without parameter updates. It yields explicit guarantees on stability and sample efficiency, offers a principled interpretation of prompt informativeness via information accumulation, and clarifies the role of uncertainty dynamics absent from existing accounts. Minimal illustrative experiments corroborate the qualitative predictions of the theory.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)における推論時適応をオンラインベイズ状態推定として解釈する理論優先フレームワークを提案する。 素早い適応を暗黙の最適化やメタラーニングとしてモデル化するのではなく、線形化された状態空間モデルによって支配される低次元潜在状態の逐次推論としてタスク固有学習とコンテキスト固有学習を定式化する。 ガウスの仮定の下では、適応は後平均と共分散の両方の閉形式更新を伴うカルマン再帰に従う。 この観点は、明示的な動的変数への認識の不確実性を高める。 推論時間学習は共分散崩壊、すなわち情報トークンによって引き起こされる後続不確実性の急速な収縮によって引き起こされることを示す。 トークンレベルのヤコビアン上の可観測条件を用いて、ベイズフィルタの安定性を確立し、指数的共分散収縮率を証明し、平均二乗誤差境界を導出する。 勾配降下、自然勾配法、メタラーニングの更新は、フィルタ力学の特異なノイズフリーな限界として現れ、ベイズ推定の退化近似としての最適化に基づく適応の位置付けが生じる。 結果として得られる理論は、文脈内学習、パラメータ効率適応、パラメータ更新のないテスト時間学習の統一的な確率的説明を提供する。 安定性とサンプル効率を明確に保証し、情報蓄積による情報伝達の原理的な解釈を提供し、既存の口座から欠落する不確実性ダイナミクスの役割を明らかにする。 最小限の照明実験は、理論の定性的な予測を裏付ける。

関連論文リスト

• The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
  本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。 時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。 本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-12-21T06:08:22Z)
• Bridging the Gap Between Bayesian Deep Learning and Ensemble Weather Forecasts [100.26854618129039]
  天気予報は、大気のカオス的な性質によって根本的に挑戦されている。 ベイジアンディープラーニング(BDL)の最近の進歩は、有望だがしばしば非接続な代替手段を提供する。 気象予報のための統合型BDLフレームワークにより,これらのパラダイムを橋渡しする。
  論文  参考訳（メタデータ） (2025-11-18T07:49:52Z)
• In-Context Learning Is Provably Bayesian Inference: A Generalization Theory for Meta-Learning [51.56484100374058]
  本稿では,ICLリスクをベイズギャップとポストリアバリアンスの2つのコンポーネントに分割する基本的リスク分解を導入する。 一様アテンション変換器の場合、このギャップの非漸近上界を導出し、事前学習プロンプトの数への依存を明確にする。 後方変動は本質的なタスクの不確実性を表すモデルに依存しないリスクである。
  論文  参考訳（メタデータ） (2025-10-13T03:42:31Z)
• Variational Deep Learning via Implicit Regularization [11.296548737163599]
  現代のディープラーニングモデルは、過度にパラメータ化され、明示的な正規化をほとんど、あるいは全く行わずに訓練されているにもかかわらず、非常によく分布する。 本稿では,(確率的な)勾配勾配の暗黙バイアスにのみ依存して,変分ニューラルネットワークの正規化を提案する。
  論文  参考訳（メタデータ） (2025-05-26T17:15:57Z)
• Adaptive Conformal Inference by Betting [51.272991377903274]
  データ生成プロセスについて仮定することなく適応型共形推論の問題を考察する。 適応型共形推論のための既存のアプローチは、オンライン勾配勾配の変種を用いたピンボール損失の最適化に基づいている。 本稿では,パラメータフリーなオンライン凸最適化手法を利用した適応型共形推論手法を提案する。
  論文  参考訳（メタデータ） (2024-12-26T18:42:08Z)
• Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
  Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。 本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:27:07Z)
• Sequential Representation Learning via Static-Dynamic Conditional Disentanglement [58.19137637859017]
  本稿では,ビデオ中の時間非依存要因と時間変化要因を分離することに着目し,逐次的データ内での自己教師付き不整合表現学習について検討する。 本稿では,静的/動的変数間の因果関係を明示的に考慮し,それらの因子間の通常の独立性仮定を破る新しいモデルを提案する。 実験により、提案手法は、シーンのダイナミックスが内容に影響されるシナリオにおいて、従来の複雑な最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-10T17:04:39Z)
• Generalized Gaussian Temporal Difference Error for Uncertainty-aware Reinforcement Learning [0.19418036471925312]
  深部強化学習における一般化されたガウス誤差モデリングのための新しい枠組みを提案する。 我々はデータ依存型アレタリック不確実性の推定と緩和を改善する。 ポリシー勾配アルゴリズムによる実験は、大幅な性能向上を示す。
  論文  参考訳（メタデータ） (2024-08-05T08:12:25Z)
• Towards Fair Disentangled Online Learning for Changing Environments [28.207499975916324]
  オンライン学習における環境変化は、学習パラメータが環境に固有の部分的変化に起因していると論じる。 本稿では,各時点に収集したデータを2つの表現で切り離すことができるという仮定の下で,新しいアルゴリズムを提案する。 新たな後悔は、動的および静的な後悔の指標の混合形式と、公平性に配慮した長期的制約を伴って提案される。
  論文  参考訳（メタデータ） (2023-05-31T19:04:16Z)
• Variational Nonlinear Kalman Filtering with Unknown Process Noise Covariance [24.23243651301339]
  本稿では,近似ベイズ推定原理に基づく非線形状態推定とモデルパラメータの同定手法を提案する。 シミュレーションおよび実世界のデータを用いて,レーダ目標追尾法の性能を検証した。
  論文  参考訳（メタデータ） (2023-05-06T03:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。