論文の概要: From Gradients to Riccati Geometry: Kalman World Models for Single-Pass Learning

• arxiv url: http://arxiv.org/abs/2603.13423v1
• Date: Fri, 13 Mar 2026 00:30:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.188532
• Title: From Gradients to Riccati Geometry: Kalman World Models for Single-Pass Learning
• Title（参考訳）: グラディエンスからリカティ幾何学へ:Kalman World Models for Single-Pass Learning
• Authors: Andrew Kiruluta,
• Abstract要約: バックプロパゲーションは現代の機械学習を支配しているが、力学系を最適化する唯一の原則的手法ではない。 ベイズフィルタを用いて学習した学習状態空間モデルであるKalman World Models (KWM)を提案する。 我々は,このフレームワークをトランスフォーマーベースの大規模言語モデル (LLM) に拡張し,内部アクティベーションを潜在動的状態の修正として扱う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Backpropagation dominates modern machine learning, yet it is not the only principled method for optimizing dynamical systems. We propose Kalman World Models (KWM), a class of learned state-space models trained via recursive Bayesian filtering rather than reverse-mode automatic differentiation. Instead of gradient descent updates, we replace parameter learning with Kalman-style gain adaptation. Training becomes online filtering; error signals become innovations. We further extend this framework to transformer-based large language models (LLMs), where internal activations are treated as latent dynamical states corrected via innovation terms. This yields a gradient-free training and adaptation paradigm grounded in control theory. We derive stability conditions, analyze computational complexity, and provide empirical results on sequence modeling tasks demonstrating competitive performance with improved robustness and continual adaptation properties.
• Abstract（参考訳）: バックプロパゲーションは現代の機械学習を支配しているが、力学系を最適化する唯一の原則的手法ではない。 KWM(Kalman World Models)は,逆モード自動微分ではなく,再帰的ベイズフィルタを用いて学習した学習状態空間モデルである。 勾配降下更新の代わりに、パラメータ学習をカルマン型利得適応に置き換える。 トレーニングはオンラインフィルタリングになり、エラー信号はイノベーションになる。 我々はこの枠組みをさらに拡張し、内部のアクティベーションはイノベーションの言葉で修正された潜在動的状態として扱われる、トランスフォーマーベースの大規模言語モデル(LLM)に拡張する。 これは、制御理論に基づく勾配のない訓練と適応のパラダイムをもたらす。 安定条件を導出し、計算複雑性を解析し、堅牢性および連続適応性を改善した競合性能を示すシーケンスモデリングタスクの実証結果を提供する。

関連論文リスト

• Activation Function Design Sustains Plasticity in Continual Learning [1.618563064839635]
  継続的な学習では、モデルは適応する能力を失う可能性がある。 可塑性損失を軽減するため, アクティベーション選択はアーキテクチャに依存しない主要なレバーであることを示す。
  論文  参考訳（メタデータ） (2025-09-26T16:41:47Z)
• Enhancing Online Continual Learning with Plug-and-Play State Space Model and Class-Conditional Mixture of Discretization [72.81319836138347]
  オンライン連続学習(OCL)は、以前に学習したタスクの知識を保持しながら、一度だけ現れるデータストリームから新しいタスクを学習することを目指している。 既存の方法の多くはリプレイに依存しており、正規化や蒸留によるメモリ保持の強化に重点を置いている。 既存のほとんどのメソッドに組み込むことができ、適応性を直接改善できるプラグイン・アンド・プレイモジュールであるS6MODを導入する。
  論文  参考訳（メタデータ） (2024-12-24T05:25:21Z)
• Adjoint-based online learning of two-layer quasi-geostrophic baroclinic turbulence [1.0985060632689176]
  ますます人気が高まっているアプローチは、パラメータ化のための機械学習アプローチを活用すること、解決された状態と流体系における欠落したフィードバックの間のマップの回帰を教師付き学習タスクとして利用することである。 本稿では,バロクリニック乱流の学習とパラメータ化のための訓練段階における流体力学モデルを含むオンラインアプローチについて検討する。 2つのオンラインアプローチが検討されている: 完全随伴に基づくオンラインアプローチは、従来の随伴最適化アプローチに関連しており、微分可能な動的モデルを必要とする。
  論文  参考訳（メタデータ） (2024-11-21T13:15:01Z)
• State-space models can learn in-context by gradient descent [1.3087858009942543]
  状態空間モデルは、勾配に基づく学習を実行し、変換器と全く同じ方法で、文脈内学習に使用することができることを示す。 具体的には、1つの構造化状態空間モデル層が乗算入力と出力ゲーティングで拡張され、暗黙線形モデルの出力を再現できることを証明した。 また、状態空間モデルと線形自己意識の関係と、文脈内で学習する能力に関する新たな知見を提供する。
  論文  参考訳（メタデータ） (2024-10-15T15:22:38Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [115.79349923044663]
  FSCIL(Few-shot class-incremental Learning)は、限られた例から新しいクラスを段階的に学習することを目的としている。 静的アーキテクチャは固定パラメータ空間に依存して、逐次到着するデータから学習し、現在のセッションに過度に適合する傾向がある。 本研究では,FSCILにおける選択状態空間モデル(SSM)の可能性について検討する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• Deep autoregressive density nets vs neural ensembles for model-based offline reinforcement learning [2.9158689853305693]
  本稿では、利用可能なデータからシステムダイナミクスを推定し、仮想モデルロールアウトにおけるポリシー最適化を行うモデルベース強化学習アルゴリズムについて考察する。 このアプローチは、実際のシステムで破滅的な失敗を引き起こす可能性のあるモデルエラーを悪用することに対して脆弱である。 D4RLベンチマークの1つのよく校正された自己回帰モデルにより、より良い性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-05T10:18:15Z)
• Active Learning of Discrete-Time Dynamics for Uncertainty-Aware Model Predictive Control [46.81433026280051]
  本稿では,非線形ロボットシステムの力学を積極的にモデル化する自己教師型学習手法を提案する。 我々のアプローチは、目に見えない飛行条件に一貫して適応することで、高いレジリエンスと一般化能力を示す。
  論文  参考訳（メタデータ） (2022-10-23T00:45:05Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Dream to Explore: Adaptive Simulations for Autonomous Systems [3.0664963196464448]
  ベイズ的非パラメトリック法を適用し,力学系制御の学習に挑戦する。 ガウス過程を用いて潜在世界力学を探索することにより、強化学習で観測される一般的なデータ効率の問題を緩和する。 本アルゴリズムは,ログの変動的下界を最適化することにより,世界モデルと政策を共同で学習する。
  論文  参考訳（メタデータ） (2021-10-27T04:27:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。