論文の概要: Momentum LMS Theory beyond Stationarity: Stability, Tracking, and Regret

• arxiv url: http://arxiv.org/abs/2602.11995v1
• Date: Thu, 12 Feb 2026 14:24:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.866429
• Title: Momentum LMS Theory beyond Stationarity: Stability, Tracking, and Regret
• Title（参考訳）: 定常性を超えたモメンタムLMS理論:安定性、トラッキング、レグレット
• Authors: Yifei Jin, Xin Zheng, Lei Guo,
• Abstract要約: 大規模データ処理のシナリオでは、データが複雑なシステムによって生成されるシーケンシャルストリームに到達することが多い。 この非定常性は古典的な仮定に反する理論解析に挑戦する。 本稿では,適応型識別ツールとしてMomentum Least Mean Squares (MLMS)アルゴリズムについて検討する。
• 参考スコア（独自算出の注目度）: 6.655960359749289
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In large-scale data processing scenarios, data often arrive in sequential streams generated by complex systems that exhibit drifting distributions and time-varying system parameters. This nonstationarity challenges theoretical analysis, as it violates classical assumptions of i.i.d. (independent and identically distributed) samples, necessitating algorithms capable of real-time updates without expensive retraining. An effective approach should process each sample in a single pass, while maintaining computational and memory complexities independent of the data stream length. Motivated by these challenges, this paper investigates the Momentum Least Mean Squares (MLMS) algorithm as an adaptive identification tool, leveraging its computational simplicity and online processing capabilities. Theoretically, we derive tracking performance and regret bounds for the MLMS in time-varying stochastic linear systems under various practical conditions. Unlike classical LMS, whose stability can be characterized by first-order random vector difference equations, MLMS introduces an additional dynamical state due to momentum, leading to second-order time-varying random vector difference equations whose stability analysis hinges on more complicated products of random matrices, which poses a substantially challenging problem to resolve. Experiments on synthetic and real-world data streams demonstrate that MLMS achieves rapid adaptation and robust tracking, in agreement with our theoretical results especially in nonstationary settings, highlighting its promise for modern streaming and online learning applications.
• Abstract（参考訳）: 大規模データ処理のシナリオでは、データはしばしば、ドリフト分布と時間変化のシステムパラメータを示す複雑なシステムによって生成されるシーケンシャルストリームに到達する。 この非定常性は、(独立で同一の)サンプルの古典的な仮定に反する理論解析に挑戦し、高価な再訓練なしにリアルタイム更新が可能なアルゴリズムを必要とする。 有効なアプローチは、各サンプルを単一のパスで処理し、データストリーム長に依存しない計算とメモリの複雑さを維持することである。 これらの課題に乗じて,適応型識別ツールとしてMomentum Least Mean Squares (MLMS) アルゴリズムを解析し,計算の単純さとオンライン処理機能を活用する。 理論的には,様々な条件下での時間変化確率線形系におけるMLMSの追従性能と後悔境界を導出する。 古典的なLMSとは異なり、安定性は1階のランダムなベクトル差分方程式によって特徴づけられるが、MLMSは運動量による追加の動的状態を導入し、2階の時間変化のランダムなベクトル差分方程式をもたらす。 合成および実世界のデータストリームの実験は、MLMSが高速な適応とロバストな追跡を実現していることを示す。

関連論文リスト

• Data-driven stochastic reduced-order modeling of parametrized dynamical systems [3.5684665108045377]
  パラメータ空間と強制条件をまたいで一般化する連続時間ROMを学習するためのデータ駆動型フレームワークを提案する。 パラメータの組み合わせと強制を未確認で組み合わせることに優れた一般化を示し、既存の手法と比較して大きな効率向上を示した。
  論文  参考訳（メタデータ） (2026-01-15T18:50:18Z)
• Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning [52.26396748560348]
  ランダム行列によって駆動される高次元力学系について概説する。 機械学習理論における学習と一般化の単純なモデルへの応用に焦点を当てる。
  論文  参考訳（メタデータ） (2026-01-03T00:12:32Z)
• Enhanced accuracy through ensembling of randomly initialized auto-regressive models for time-dependent PDEs [0.0]
  機械学習モデルによる自己回帰推論は、連続した予測よりもエラーの蓄積に悩まされ、長期的な精度が制限される。 この課題に対処するために,複数のMLサロゲートモデルを並列にトレーニングし,推論中に集約するディープアンサンブルフレームワークを提案する。 我々はPDEを駆動する3つの力学系 - 不均一なミクロ組織における応力の進化、グレイ・スコット反応拡散、惑星規模の浅層水系 - の枠組みを検証した。
  論文  参考訳（メタデータ） (2025-07-05T02:25:12Z)
• Efficient Exploration in Continuous-time Model-based Reinforcement Learning [37.14026153342745]
  強化学習アルゴリズムは典型的には離散時間力学を考察するが、基礎となるシステムは時間的に連続していることが多い。 連続時間力学を表すモデルに基づく強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-30T15:04:40Z)
• Formal Controller Synthesis for Markov Jump Linear Systems with Uncertain Dynamics [64.72260320446158]
  マルコフジャンプ線形系に対する制御器の合成法を提案する。 本手法は,MJLSの離散(モードジャンピング)と連続(確率線形)の両方の挙動を捉える有限状態抽象化に基づいている。 本手法を複数の現実的なベンチマーク問題,特に温度制御と航空機の配送問題に適用する。
  論文  参考訳（メタデータ） (2022-12-01T17:36:30Z)
• Self-learning locally-optimal hypertuning using maximum entropy, and comparison of machine learning approaches for estimating fatigue life in composite materials [0.0]
  疲労損傷を予測するための最大エントロピーの原理に基づくML近傍近似アルゴリズムを開発した。 予測は、他のMLアルゴリズムと同様、高いレベルの精度を達成する。
  論文  参考訳（メタデータ） (2022-10-19T12:20:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。