論文の概要: An Efficient Continual Learning Framework for Multivariate Time Series Prediction Tasks with Application to Vehicle State Estimation
- arxiv url: http://arxiv.org/abs/2503.01669v1
- Date: Mon, 03 Mar 2025 15:42:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-05 19:22:55.139997
- Title: An Efficient Continual Learning Framework for Multivariate Time Series Prediction Tasks with Application to Vehicle State Estimation
- Title（参考訳）: 多変量時系列予測タスクのための効率的な連続学習フレームワークとその車両状態推定への応用
- Authors: Arvin Hosseinzadeh, Ladan Khoshnevisan, Mohammad Pirani, Shojaeddin Chenouri, Amir Khajepour,
- Abstract要約: 本稿では,連続学習を時系列タスクで処理するEM-ReSeleCTを提案する。
提案手法は,古・歴史的データから代表的なサブセットを戦略的に選択する。
また,車両状態推定に特化して設計されたシーケンス・ツー・シーケンス・トランスフォーマモデル(自己回帰モデル)を開発した。
- 参考スコア（独自算出の注目度）: 11.197937792525684
- License:
- Abstract: In continual time series analysis using neural networks, catastrophic forgetting (CF) of previously learned models when training on new data domains has always been a significant challenge. This problem is especially challenging in vehicle estimation and control, where new information is sequentially introduced to the model. Unfortunately, existing work on continual learning has not sufficiently addressed the adverse effects of catastrophic forgetting in time series analysis, particularly in multivariate output environments. In this paper, we present EM-ReSeleCT (Efficient Multivariate Representative Selection for Continual Learning in Time Series Tasks), an enhanced approach designed to handle continual learning in multivariate environments. Our approach strategically selects representative subsets from old and historical data and incorporates memory-based continual learning techniques with an improved optimization algorithm to adapt the pre-trained model on new information while preserving previously acquired information. Additionally, we develop a sequence-to-sequence transformer model (autoregressive model) specifically designed for vehicle state estimation. Moreover, we propose an uncertainty quantification framework using conformal prediction to assess the sensitivity of the memory size and to showcase the robustness of the proposed method. Experimental results from tests on an electric Equinox vehicle highlight the superiority of our method in continually learning new information while retaining prior knowledge, outperforming state-of-the-art continual learning methods. Furthermore, EM-ReSeleCT significantly reduces training time, a critical advantage in continual learning applications.
- Abstract（参考訳）: ニューラルネットワークを用いた時系列解析では、新しいデータドメインのトレーニングにおいて、事前に学習したモデルの破滅的な忘れ(CF)が常に重要な課題である。
この問題は、モデルに新しい情報を順次導入する車両推定と制御において特に困難である。
残念ながら、継続学習に関する既存の研究は、時系列解析、特に多変量出力環境における破滅的忘れの悪影響に十分対応していない。
本稿では,多変量環境における連続学習を扱うための改良手法であるEM-ReSeleCTを提案する。
提案手法では,従来のデータや履歴データから代表的なサブセットを戦略的に選択し,メモリベース連続学習手法を改良した最適化アルゴリズムにより,事前学習したモデルを新しい情報に適用し,事前取得した情報を保存する。
さらに,車両状態推定に特化して設計されたシーケンス・ツー・シーケンス・トランスフォーマモデル(自己回帰モデル)を開発した。
また,コンフォメーション予測を用いた不確実性定量化フレームワークを提案し,メモリサイズの感度を評価し,提案手法のロバスト性を示す。
電気式エキノックス車両を用いた実験の結果、先行知識を維持しながら新しい情報を継続的に学習し、最先端の継続的な学習方法よりも優れた結果を得た。
さらに、EM-ReSeleCTは、連続学習アプリケーションにおいて重要な利点であるトレーニング時間を著しく短縮する。
関連論文リスト
- Temporal-Difference Variational Continual Learning [89.32940051152782]
現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。
継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
論文 参考訳（メタデータ） (2024-10-10T10:58:41Z) - Remember and Recall: Associative-Memory-based Trajectory Prediction [25.349986959111757]
我々は,人間の顕著な学習能力に触発された,フラグメンテッドメモリに基づく軌道予測(FMTP)モデルを提案する。
FMTPモデルは、情報冗長性を低減し、計算効率を向上させるために離散表現を用いる。
言語モデルに基づく高度な推論エンジンを開発し、これらの離散表現間の連想規則を深く学習する。
論文 参考訳（メタデータ） (2024-10-03T04:32:21Z) - Federated Continual Learning Goes Online: Uncertainty-Aware Memory Management for Vision Tasks and Beyond [13.867793835583463]
本稿では,破滅的な記憶を解消するための不確実性を考慮したメモリベース手法を提案する。
特定の特性を持つサンプルを検索し、そのようなサンプル上でモデルを再訓練することで、このアプローチの可能性を実証する。
論文 参考訳（メタデータ） (2024-05-29T09:29:39Z) - Temporal Knowledge Distillation for Time-Sensitive Financial Services
Applications [7.1795069620810805]
異常検出は、金融犯罪検出詐欺やサイバーセキュリティなどの主要なコンプライアンスやリスク機能に頻繁に使用される。
最新のデータパターンでモデルを再トレーニングすることで、急激な変更に追いつくことは、過去のパターンと現在のパターンのバランスをとる上でのプレッシャーをもたらす。
提案手法は、モデル性能を改善しながら、再トレーニング時間に利点をもたらす。
論文 参考訳（メタデータ） (2023-12-28T03:04:30Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [65.57123249246358]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。
一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。
一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文 参考訳（メタデータ） (2023-09-13T17:55:11Z) - Continual Learning with Pretrained Backbones by Tuning in the Input
Space [44.97953547553997]
ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。
ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
論文 参考訳（メタデータ） (2023-06-05T15:11:59Z) - Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。
対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。
本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
論文 参考訳（メタデータ） (2023-03-21T15:02:50Z) - Effective and Efficient Training for Sequential Recommendation using
Recency Sampling [91.02268704681124]
本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。
提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
論文 参考訳（メタデータ） (2022-07-06T13:06:31Z) - Active Learning for Sequence Tagging with Deep Pre-trained Models and
Bayesian Uncertainty Estimates [52.164757178369804]
自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。
我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。
また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
論文 参考訳（メタデータ） (2021-01-20T13:59:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。