論文の概要: Escaping Stability-Plasticity Dilemma in Online Continual Learning for Motion Forecasting via Synergetic Memory Rehearsal

• arxiv url: http://arxiv.org/abs/2508.19571v1
• Date: Wed, 27 Aug 2025 05:04:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.497103
• Title: Escaping Stability-Plasticity Dilemma in Online Continual Learning for Motion Forecasting via Synergetic Memory Rehearsal
• Title（参考訳）: 同期記憶リハーサルによる動き予測のためのオンライン連続学習における安定性-弾塑性ジレンマの回避
• Authors: Yunlong Lin, Chao Lu, Tongshuai Wu, Xiaocong Zhao, Guodong Du, Yanwei Sun, Zirui Li, Jianwei Gong,
• Abstract要約: DNNに基づく動き予測のための相乗的メモリリハーサル(SyReM)を提案する。 SyReMは学習知識を表現するために、コンパクトなメモリバッファを保持する。 メモリバッファの平均損失を制限する不等式制約を採用している。 SyReMは過去のシナリオにおける破滅的な忘れを著しく軽減し、新しいシナリオの予測精度を向上する。
• 参考スコア（独自算出の注目度）: 19.181540661354312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNN) have achieved remarkable success in motion forecasting. However, most DNN-based methods suffer from catastrophic forgetting and fail to maintain their performance in previously learned scenarios after adapting to new data. Recent continual learning (CL) studies aim to mitigate this phenomenon by enhancing memory stability of DNN, i.e., the ability to retain learned knowledge. Yet, excessive emphasis on the memory stability often impairs learning plasticity, i.e., the capacity of DNN to acquire new information effectively. To address such stability-plasticity dilemma, this study proposes a novel CL method, synergetic memory rehearsal (SyReM), for DNN-based motion forecasting. SyReM maintains a compact memory buffer to represent learned knowledge. To ensure memory stability, it employs an inequality constraint that limits increments in the average loss over the memory buffer. Synergistically, a selective memory rehearsal mechanism is designed to enhance learning plasticity by selecting samples from the memory buffer that are most similar to recently observed data. This selection is based on an online-measured cosine similarity of loss gradients, ensuring targeted memory rehearsal. Since replayed samples originate from learned scenarios, this memory rehearsal mechanism avoids compromising memory stability. We validate SyReM under an online CL paradigm where training samples from diverse scenarios arrive as a one-pass stream. Experiments on 11 naturalistic driving datasets from INTERACTION demonstrate that, compared to non-CL and CL baselines, SyReM significantly mitigates catastrophic forgetting in past scenarios while improving forecasting accuracy in new ones. The implementation is publicly available at https://github.com/BIT-Jack/SyReM.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、モーション予測において顕著な成功を収めている。 しかし、ほとんどのDNNベースの手法は破滅的な忘れ込みに悩まされ、新しいデータに適応した後、以前に学習したシナリオでパフォーマンスを維持できない。 近年の連続学習(CL)研究は、DNNの記憶安定性、すなわち学習知識を維持する能力を高めることによって、この現象を緩和することを目的としている。 しかし、メモリ安定性の過度な強調は、しばしば学習の可塑性を損なう。 このような安定性・塑性ジレンマに対処するために,DNNに基づく動き予測のための新しいCL法,SyReMを提案する。 SyReMは学習知識を表現するために、コンパクトなメモリバッファを保持する。 メモリの安定性を確保するため、メモリバッファ上の平均損失の増大を制限する不等式制約を用いる。 同期的に、選択的なメモリリハーサル機構は、最近観測されたデータに最も近いメモリバッファからサンプルを選択することにより、学習の可塑性を高めるように設計されている。 この選択は、オンラインで測定された損失勾配のコサイン類似性に基づいており、ターゲットメモリのリハーサルを保証する。 リプレイされたサンプルは学習シナリオに由来するため、このメモリリハーサル機構はメモリの安定性を損なう。 我々は、SyReMをオンラインCLパラダイムで検証し、多様なシナリオからのトレーニングサンプルをワンパスストリームとして到着させる。 InterACTIONによる11の自然主義駆動データセットの実験では、非CLおよびCLベースラインと比較して、SyReMは過去のシナリオにおける破滅的な忘れを著しく軽減し、新しいシナリオの予測精度を向上することを示した。 実装はhttps://github.com/BIT-Jack/SyReM.comで公開されている。

関連論文リスト

• Exploring Learnability in Memory-Augmented Recurrent Neural Networks: Precision, Stability, and Empirical Insights [2.1485350418225244]
  本研究では,Pushdown Automataと理論的に等価であるメモリレスおよびメモリ拡張RNNの学習可能性について検討する。 完全にトレーニングされたコンポーネントフリーズモデルの実験では、メモリコンポーネントの凍結によりパフォーマンスが大幅に向上した。
  論文  参考訳（メタデータ） (2024-10-04T05:29:51Z)
• How to Leverage Predictive Uncertainty Estimates for Reducing Catastrophic Forgetting in Online Continual Learning [12.33899500566626]
  この研究は、異なる不確実性推定とメモリの投入戦略を詳細に分析する。 負の対数類似度によって誘導される一般化分散を用いて予測の不確かさを推定する別の方法を提案する。 予測不確実性対策を用いることで, CFを異なる設定で低減できることが実証された。
  論文  参考訳（メタデータ） (2024-07-10T13:51:15Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Selective Memory Recursive Least Squares: Recast Forgetting into Memory in RBF Neural Network Based Real-Time Learning [2.31120983784623]
  放射ベース関数ニューラルネットワーク(RBFNN)に基づくリアルタイム学習タスクでは、忘れるメカニズムが広く使用されている。 本稿では,従来の記憶機構を記憶機構に再キャストする選択記憶再帰最小二乗法(SMRLS)を提案する。 SMRLSでは、RBFNNの入力空間を有限個の分割に均等に分割し、各分割から合成されたサンプルを用いて合成目的関数を開発する。
  論文  参考訳（メタデータ） (2022-11-15T05:29:58Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。