論文の概要: Bayesian Optimality of In-Context Learning with Selective State Spaces
- arxiv url: http://arxiv.org/abs/2602.17744v1
- Date: Thu, 19 Feb 2026 12:41:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-23 18:01:41.09496
- Title: Bayesian Optimality of In-Context Learning with Selective State Spaces
- Title（参考訳）: 選択状態空間を用いた文脈内学習のベイズ的最適性
- Authors: Di Zhang, Jiaqi Xing,
- Abstract要約: In-context Learning (ICL) の新たな原理としてベイズ最適逐次予測を提案する。
メタ訓練された選択SSMがベイズ最適予測器を実装し、後部予測平均に収束することを示す。
これにより、ICLを"単純な最適化"から"最適推論"にリフレームし、選択されたSSMの効率を説明し、アーキテクチャ設計の原則的な基盤を提供する。
- 参考スコア（独自算出の注目度）: 6.942271828822157
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose Bayesian optimal sequential prediction as a new principle for understanding in-context learning (ICL). Unlike interpretations framing Transformers as performing implicit gradient descent, we formalize ICL as meta-learning over latent sequence tasks. For tasks governed by Linear Gaussian State Space Models (LG-SSMs), we prove a meta-trained selective SSM asymptotically implements the Bayes-optimal predictor, converging to the posterior predictive mean. We further establish a statistical separation from gradient descent, constructing tasks with temporally correlated noise where the optimal Bayesian predictor strictly outperforms any empirical risk minimization (ERM) estimator. Since Transformers can be seen as performing implicit ERM, this demonstrates selective SSMs achieve lower asymptotic risk due to superior statistical efficiency. Experiments on synthetic LG-SSM tasks and a character-level Markov benchmark confirm selective SSMs converge faster to Bayes-optimal risk, show superior sample efficiency with longer contexts in structured-noise settings, and track latent states more robustly than linear Transformers. This reframes ICL from "implicit optimization" to "optimal inference," explaining the efficiency of selective SSMs and offering a principled basis for architecture design.
- Abstract（参考訳）: 本研究では,文脈内学習(ICL)の新たな原理としてベイズ最適逐次予測を提案する。
暗黙の勾配降下として変換器をフレーミングする解釈とは異なり、ICLは潜在シーケンスタスクよりもメタラーニングとして形式化される。
線形ガウス状態空間モデル(LG-SSM)によって制御されるタスクに対して、メタ訓練された選択的SSMがベイズ最適予測器を漸近的に実装し、後続の予測平均に収束することを示す。
さらに、勾配降下から統計的に分離し、最適ベイズ予測器が経験的リスク最小化(ERM)推定器を厳密に上回る時間的相関ノイズを伴うタスクを構築する。
トランスフォーマーは暗黙のERMを行うと見なすことができるため、より優れた統計効率のため、選択的なSSMが漸近リスクを低くすることを示す。
合成LG-SSMタスクと文字レベルマルコフベンチマークの実験により、選択的なSSMはベイズ最適リスクに早く収束し、構造化ノイズ設定で長いコンテキストで優れたサンプル効率を示し、線形変換器よりも頑健な潜伏状態を追跡する。
これにより、ICLを"単純な最適化"から"最適推論"にリフレームし、選択されたSSMの効率を説明し、アーキテクチャ設計の原則的な基盤を提供する。
関連論文リスト
- The Power of Decaying Steps: Enhancing Attack Stability and Transferability for Sign-based Optimizers [9.020853139493239]
非収束性と不安定性の1つの原因は、非遅延的なステップサイズスケジューリングである、と我々は主張する。
そこで本研究では,信号ベース対角線における一律的なステップサイズ決定を強制する,新たな攻撃アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-02-22T08:37:06Z) - MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。
我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。
本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
論文 参考訳（メタデータ） (2026-01-12T05:02:48Z) - Prior-Informed Zeroth-Order Optimization with Adaptive Direction Alignment for Memory-Efficient LLM Fine-Tuning [4.278794376089146]
本稿では,事前インフォームド摂動を組み込んだプラグアンドプレイ手法を提案する。
本手法は標準ZO法と比較して収束を著しく加速する。
勾配推定器が真の勾配方向とより強く一致することを証明する。
論文 参考訳（メタデータ） (2026-01-08T08:27:15Z) - Towards a Unified Analysis of Neural Networks in Nonparametric Instrumental Variable Regression: Optimization and Generalization [66.08522228989634]
非パラメトリックインスツルメンタル変数回帰(NPIV)における2段階最小二乗法(2SLS)アプローチのためのニューラルネットワークの最初の大域収束結果を確立する。
これは平均場ランゲヴィンダイナミクス(MFLD)を通して持ち上げられた視点を採用することで達成される。
論文 参考訳（メタデータ） (2025-11-18T17:51:17Z) - Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。
本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。
アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
論文 参考訳（メタデータ） (2025-10-01T12:29:32Z) - Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。
そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
論文 参考訳（メタデータ） (2025-06-15T05:42:29Z) - LORENZA: Enhancing Generalization in Low-Rank Gradient LLM Training via Efficient Zeroth-Order Adaptive SAM [13.180761892449736]
大規模言語モデル(LLM)のためのロバストパラメータ効率細調整法(PEFT)について検討する。
我々はAdam と Sharpness-Aware Minimization (SAM) を組み合わせた AdaZo-SAM という,計算効率のよい新しいフレームワークを提案する。
また,AdaZo-SAMのメモリ効率向上版であるLORENZAという低ランク勾配最適化手法を設計した。
論文 参考訳（メタデータ） (2025-02-26T21:30:34Z) - Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。
Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。
本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
論文 参考訳（メタデータ） (2024-10-11T17:01:43Z) - Beyond Single-Model Views for Deep Learning: Optimization versus
Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。
我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。
本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
論文 参考訳（メタデータ） (2024-03-01T14:55:22Z) - Pseudo-Bayesian Optimization [7.556071491014536]
ブラックボックス最適化の収束を保証するために最小限の要件を課す公理的枠組みについて検討する。
我々は、単純な局所回帰と、不確実性を定量化するために適切な「ランダム化事前」構造を用いることが、収束を保証するだけでなく、常に最先端のベンチマークよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-15T07:55:28Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。