論文の概要: An Efficient Continual Learning Framework for Multivariate Time Series Prediction Tasks with Application to Vehicle State Estimation
- arxiv url: http://arxiv.org/abs/2503.01669v2
- Date: Fri, 04 Apr 2025 21:40:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-08 20:14:38.784596
- Title: An Efficient Continual Learning Framework for Multivariate Time Series Prediction Tasks with Application to Vehicle State Estimation
- Title（参考訳）: 多変量時系列予測タスクのための効率的な連続学習フレームワークとその車両状態推定への応用
- Authors: Arvin Hosseinzadeh, Ladan Khoshnevisan, Mohammad Pirani, Shojaeddin Chenouri, Amir Khajepour,
- Abstract要約: 本稿では,連続学習を時系列タスクで処理するEM-ReSeleCTを提案する。
提案手法は,古・歴史的データから代表的なサブセットを戦略的に選択する。
また,車両状態推定に特化して設計されたシーケンス・ツー・シーケンス・トランスフォーマモデル(自己回帰モデル)を開発した。
- 参考スコア（独自算出の注目度）: 11.197937792525684
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In continual time series analysis using neural networks, catastrophic forgetting (CF) of previously learned models when training on new data domains has always been a significant challenge. This problem is especially challenging in vehicle estimation and control, where new information is sequentially introduced to the model. Unfortunately, existing work on continual learning has not sufficiently addressed the adverse effects of catastrophic forgetting in time series analysis, particularly in multivariate output environments. In this paper, we present EM-ReSeleCT (Efficient Multivariate Representative Selection for Continual Learning in Time Series Tasks), an enhanced approach designed to handle continual learning in multivariate environments. Our approach strategically selects representative subsets from old and historical data and incorporates memory-based continual learning techniques with an improved optimization algorithm to adapt the pre-trained model on new information while preserving previously acquired information. Additionally, we develop a sequence-to-sequence transformer model (autoregressive model) specifically designed for vehicle state estimation. Moreover, we propose an uncertainty quantification framework using conformal prediction to assess the sensitivity of the memory size and to showcase the robustness of the proposed method. Experimental results from tests on an electric Equinox vehicle highlight the superiority of our method in continually learning new information while retaining prior knowledge, outperforming state-of-the-art continual learning methods. Furthermore, EM-ReSeleCT significantly reduces training time, a critical advantage in continual learning applications.
- Abstract（参考訳）: ニューラルネットワークを用いた時系列解析では、新しいデータドメインのトレーニングにおいて、事前に学習したモデルの破滅的な忘れ(CF)が常に重要な課題である。
この問題は、モデルに新しい情報を順次導入する車両推定と制御において特に困難である。
残念ながら、継続学習に関する既存の研究は、時系列解析、特に多変量出力環境における破滅的忘れの悪影響に十分対応していない。
本稿では,多変量環境における連続学習を扱うための改良手法であるEM-ReSeleCTを提案する。
提案手法では,従来のデータや履歴データから代表的なサブセットを戦略的に選択し,メモリベース連続学習手法を改良した最適化アルゴリズムにより,事前学習したモデルを新しい情報に適用し,事前取得した情報を保存する。
さらに,車両状態推定に特化して設計されたシーケンス・ツー・シーケンス・トランスフォーマモデル(自己回帰モデル)を開発した。
また,コンフォメーション予測を用いた不確実性定量化フレームワークを提案し,メモリサイズの感度を評価し,提案手法のロバスト性を示す。
電気式エキノックス車両を用いた実験の結果、先行知識を維持しながら新しい情報を継続的に学習し、最先端の継続的な学習方法よりも優れた結果を得た。
さらに、EM-ReSeleCTは、連続学習アプリケーションにおいて重要な利点であるトレーニング時間を著しく短縮する。
関連論文リスト
- Preserving Seasonal and Trend Information: A Variational Autoencoder-Latent Space Arithmetic Based Approach for Non-stationary Learning [0.0]
本研究は,季節情報と傾向を保存しつつ,潜伏空間内の定常挙動を抑える手法を提案する。
この手法の傾向と季節情報を保存する能力は,2つの時系列非定常データセットで評価された。
論文 参考訳（メタデータ） (2025-04-26T06:29:06Z) - Temporal-Difference Variational Continual Learning [89.32940051152782]
現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。
継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
論文 参考訳（メタデータ） (2024-10-10T10:58:41Z) - Remember and Recall: Associative-Memory-based Trajectory Prediction [25.349986959111757]
我々は,人間の顕著な学習能力に触発された,フラグメンテッドメモリに基づく軌道予測(FMTP)モデルを提案する。
FMTPモデルは、情報冗長性を低減し、計算効率を向上させるために離散表現を用いる。
言語モデルに基づく高度な推論エンジンを開発し、これらの離散表現間の連想規則を深く学習する。
論文 参考訳（メタデータ） (2024-10-03T04:32:21Z) - Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.03511469562013]
3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。
知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。
Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。
イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
論文 参考訳（メタデータ） (2024-07-25T07:09:35Z) - Temporal Knowledge Distillation for Time-Sensitive Financial Services
Applications [7.1795069620810805]
異常検出は、金融犯罪検出詐欺やサイバーセキュリティなどの主要なコンプライアンスやリスク機能に頻繁に使用される。
最新のデータパターンでモデルを再トレーニングすることで、急激な変更に追いつくことは、過去のパターンと現在のパターンのバランスをとる上でのプレッシャーをもたらす。
提案手法は、モデル性能を改善しながら、再トレーニング時間に利点をもたらす。
論文 参考訳（メタデータ） (2023-12-28T03:04:30Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [65.57123249246358]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。
一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。
一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文 参考訳（メタデータ） (2023-09-13T17:55:11Z) - Overcoming Generic Knowledge Loss with Selective Parameter Update [48.240683797965005]
基礎モデルを継続的に更新する新しい手法を提案する。
すべてのパラメータを均等に更新する代わりに、学習しているタスクに関連するパラメータのスパースセットにアップデートをローカライズします。
提案手法は,学習済みのタスクの精度を最大7%向上すると同時に,学習前知識を0.9%減少させることなく,代表制御セットの精度を低下させる。
論文 参考訳（メタデータ） (2023-08-23T22:55:45Z) - Continual Learning with Pretrained Backbones by Tuning in the Input
Space [44.97953547553997]
ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。
ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
論文 参考訳（メタデータ） (2023-06-05T15:11:59Z) - Effective and Efficient Training for Sequential Recommendation using
Recency Sampling [91.02268704681124]
本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。
提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
論文 参考訳（メタデータ） (2022-07-06T13:06:31Z) - Active Learning for Sequence Tagging with Deep Pre-trained Models and
Bayesian Uncertainty Estimates [52.164757178369804]
自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。
我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。
また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
論文 参考訳（メタデータ） (2021-01-20T13:59:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。