論文の概要: Online Learning via Learned Latent Bayesian Tracking

• arxiv url: http://arxiv.org/abs/2609.31559v2
• Date: Mon, 28 Sep 2026 19:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.550447
• Title: Online Learning via Learned Latent Bayesian Tracking
• Title（参考訳）: 学習型潜在ベイズ追跡によるオンライン学習
• Abstract要約: 非定常環境でのオンライン学習は、厳密な計算制約の下でストリーミングデータから迅速に適応するモデルを必要とする。 ベイズフィルタを現代のディープモデルに直接適用することは、パラメータ空間の高次元性のために計算的に禁止される。 低次元の潜在状態空間モデルをオフラインで学習するメタラーニングフレームワークであるAdaptive Update through Representation Adaptation (AURA)を提案する。
• 参考スコア（独自算出の注目度）: 65.95566279685426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online learning in non-stationary environments requires models to adapt rapidly from streaming data under strict computational constraints. A principled approach casts online learning as Bayesian state tracking, where model parameters are updated sequentially via Bayesian filtering. However, applying Bayesian filters directly to modern deep models is computationally prohibitive due to the high dimensionality of parameter space, forcing existing methods to rely on restrictive approximations or manually designed low-dimensional subspaces. In this work, we identify the absence of a suitable low-dimensional dynamical representation as the core bottleneck in Bayesian filtering-based online learning. Accordingly, we propose Adaptive Update through Representation Adaptation (AURA), a meta-learning framework that learns offline a low-dimensional latent state-space model governing the evolution of optimal model parameters under distribution shift. Online adaptation is then performed via extended Kalman filtering in this learned latent space followed by reconstruction of the full model parameters through a learned lifting map, enabling efficient single-step online adaptation while preserving model expressiveness. Evaluated on online adaptation of neural wireless receivers under time-varying channels and on non-stationary image classification, AURA shows substantial improvements in adaptation speed, accuracy, and computational efficiency over existing online learning and Bayesian filtering baselines, demonstrating that an adaptation-aware latent geometry is beneficial for effective Bayesian online learning in high-dimensional models.
• Abstract（参考訳）: 非定常環境でのオンライン学習は、厳密な計算制約の下でストリーミングデータから迅速に適応するモデルを必要とする。 原則化されたアプローチでは、オンライン学習をベイジアン状態追跡(Bayesian state tracking)として、モデルパラメータをベイジアンフィルタリング(Bayesian filtering)を通じて逐次更新する。 しかし、ベイズフィルタを現代のディープモデルに直接適用することは、パラメータ空間の高次元性のために計算的に禁止され、既存の手法は制限的近似や手動で設計された低次元部分空間に頼らざるを得なくなった。 本研究では,ベイジアンフィルタリングに基づくオンライン学習において,適切な低次元動的表現が欠如していることを明らかにする。 そこで我々は,適応更新(Adaptive Update through Representation Adaptation, AURA)を提案する。これは,分散シフトの下で最適なモデルパラメータの進化を管理する低次元潜在状態空間モデルをオフラインで学習するメタラーニングフレームワークである。 オンライン適応は、学習された潜在空間における拡張Kalmanフィルタを通して実行され、学習されたリフトマップを通して完全なモデルパラメータを再構成し、モデル表現性を維持しながら効率的な単一ステップオンライン適応を可能にする。 AURAは、時変チャネル下でのニューラル無線受信機のオンライン適応と静止画像分類に基づいて、既存のオンライン学習やベイズフィルタリングベースラインよりも適応速度、精度、計算効率を大幅に改善し、適応対応の潜時幾何学が高次元モデルにおける効果的なベイズオンライン学習に有用であることを実証した。

関連論文リスト

• The Golden Subspace: Where Efficiency Meets Generalization in Continual Test-Time Adaptation [86.83038620308423]
  Continual Test-Time Adaptation (CTTA)は、ソースデータにアクセスすることなく、分散シフトの下でラベルなしのデータストリームへのオンライン適応を可能にすることを目的としている。 我々は,GOLD ( Guided Online Low-rank Directional Adaptation) を提案する。これは,Goldenサブスペースに機能を投影する軽量アダプタを用いて,サブスペースがAGOPを介して動的に更新される間に,コンパクトなスケーリングベクトルを学習する。
  論文  参考訳（メタデータ） (2026-03-23T12:48:38Z)
• From Gradients to Riccati Geometry: Kalman World Models for Single-Pass Learning [0.0]
  バックプロパゲーションは現代の機械学習を支配しているが、力学系を最適化する唯一の原則的手法ではない。 ベイズフィルタを用いて学習した学習状態空間モデルであるKalman World Models (KWM)を提案する。 我々は,このフレームワークをトランスフォーマーベースの大規模言語モデル (LLM) に拡張し,内部アクティベーションを潜在動的状態の修正として扱う。
  論文  参考訳（メタデータ） (2026-03-13T00:30:30Z)
• Adaptive, Robust and Scalable Bayesian Filtering for Online Learning [0.5439020425819]
  本稿では,多様な逐次機械学習問題に対処するための基本的枠組みとしてベイズフィルタを導入する。 この論文は、非定常環境への適応性、不特定性や外れ値のモデル化、ディープニューラルネットワークの高次元パラメータ空間への拡張性といった、ベイズフィルタをこれらの問題に適用する際の重要な課題に対処する。 i)オンライン学習のための開発適応型アプローチを可能にするモジュール型フレームワーク、(ii)一般ベイズを用いた標準フィルタに類似した計算コストで信頼性の高い新規なフィルタ、(ii)
  論文  参考訳（メタデータ） (2025-05-12T06:40:29Z)
• Online-BLS: An Accurate and Efficient Online Broad Learning System for Data Stream Classification [52.251569042852815]
  オンライン更新毎にクローズドフォームソリューションを備えたオンライン広範学習システムフレームワークを導入する。 我々は,効果的な重み推定アルゴリズムと効率的なオンライン更新戦略を設計する。 我々のフレームワークは、コンセプトドリフトを伴うデータストリームシナリオに自然に拡張され、最先端のベースラインを超えます。
  論文  参考訳（メタデータ） (2025-01-28T13:21:59Z)
• Adjoint-based online learning of two-layer quasi-geostrophic baroclinic turbulence [1.0985060632689176]
  ますます人気が高まっているアプローチは、パラメータ化のための機械学習アプローチを活用すること、解決された状態と流体系における欠落したフィードバックの間のマップの回帰を教師付き学習タスクとして利用することである。 本稿では,バロクリニック乱流の学習とパラメータ化のための訓練段階における流体力学モデルを含むオンラインアプローチについて検討する。 2つのオンラインアプローチが検討されている: 完全随伴に基づくオンラインアプローチは、従来の随伴最適化アプローチに関連しており、微分可能な動的モデルを必要とする。
  論文  参考訳（メタデータ） (2024-11-21T13:15:01Z)
• Learning Differentiable Particle Filter on the Fly [18.466658684464598]
  微分可能な粒子フィルタは、シーケンシャルベイズ推論技術の新たなクラスである。 本稿では,データ到着時にモデルパラメータを更新できるように,微分可能な粒子フィルタのためのオンライン学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-10T17:54:40Z)
• Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
  オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。 本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。 多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
  論文  参考訳（メタデータ） (2023-06-14T11:41:42Z)
• Tracking Performance of Online Stochastic Learners [57.14673504239551]
  オンラインアルゴリズムは、大規模なバッチにデータを保存したり処理したりすることなく、リアルタイムで更新を計算できるため、大規模な学習環境で人気がある。 一定のステップサイズを使用すると、これらのアルゴリズムはデータやモデル特性などの問題パラメータのドリフトに適応し、適切な精度で最適解を追跡する能力を持つ。 定常仮定に基づく定常状態性能とランダムウォークモデルによるオンライン学習者の追跡性能の関連性を確立する。
  論文  参考訳（メタデータ） (2020-04-04T14:16:27Z)
• Logarithmic Regret Bound in Partially Observable Linear Dynamical Systems [91.43582419264763]
  部分的に観測可能な線形力学系におけるシステム同定と適応制御の問題について検討する。 開ループ系と閉ループ系の両方において有限時間保証付きの最初のモデル推定法を提案する。 AdaptOnは、未知の部分観測可能な線形力学系の適応制御において、$textpolylogleft(Tright)$ regretを達成する最初のアルゴリズムであることを示す。
  論文  参考訳（メタデータ） (2020-03-25T06:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。