論文の概要: Flashbacks to Harmonize Stability and Plasticity in Continual Learning

• arxiv url: http://arxiv.org/abs/2506.00477v1
• Date: Sat, 31 May 2025 09:04:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.095224
• Title: Flashbacks to Harmonize Stability and Plasticity in Continual Learning
• Title（参考訳）: 連続学習における安定性と塑性を調和させるフラッシュバック
• Authors: Leila Mahmoodi, Peyman Moghadam, Munawar Hayat, Christian Simon, Mehrtash Harandi,
• Abstract要約: Flashback Learning (FL) は連続学習(CL)におけるモデルの安定性と可塑性を調和させるように設計されている FLは2段階のトレーニングプロセスを通じて動作し、様々なCLメソッドにシームレスに統合することができる。
• 参考スコア（独自算出の注目度）: 36.686610963247794
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Flashback Learning (FL), a novel method designed to harmonize the stability and plasticity of models in Continual Learning (CL). Unlike prior approaches that primarily focus on regularizing model updates to preserve old information while learning new concepts, FL explicitly balances this trade-off through a bidirectional form of regularization. This approach effectively guides the model to swiftly incorporate new knowledge while actively retaining its old knowledge. FL operates through a two-phase training process and can be seamlessly integrated into various CL methods, including replay, parameter regularization, distillation, and dynamic architecture techniques. In designing FL, we use two distinct knowledge bases: one to enhance plasticity and another to improve stability. FL ensures a more balanced model by utilizing both knowledge bases to regularize model updates. Theoretically, we analyze how the FL mechanism enhances the stability-plasticity balance. Empirically, FL demonstrates tangible improvements over baseline methods within the same training budget. By integrating FL into at least one representative baseline from each CL category, we observed an average accuracy improvement of up to 4.91% in Class-Incremental and 3.51% in Task-Incremental settings on standard image classification benchmarks. Additionally, measurements of the stability-to-plasticity ratio confirm that FL effectively enhances this balance. FL also outperforms state-of-the-art CL methods on more challenging datasets like ImageNet.
• Abstract（参考訳）: 本稿では,連続学習(CL)におけるモデルの安定性と可塑性を調和させる新しい手法であるFlashback Learning(FL)を紹介する。 新しい概念を学習しながら古い情報を保存するために、主にモデルの更新を正則化することに焦点を当てた従来のアプローチとは異なり、FLは、このトレードオフを双方向の正則化形式で明確にバランスさせる。 このアプローチは、古い知識を積極的に保持しながら、モデルに新しい知識を迅速に組み込むことを効果的に導く。 FLは2段階のトレーニングプロセスを通じて動作し、リプレイ、パラメータ正規化、蒸留、動的アーキテクチャ技術など、さまざまなCLメソッドにシームレスに統合することができる。 FLを設計する際には、プラスチック性を高めるための知識ベースと安定性を改善するための知識ベースが2つあります。 FLは、モデルの更新を正規化するために両方の知識ベースを活用することで、よりバランスのとれたモデルを保証する。 理論的には、FL機構が安定性と塑性のバランスをいかに向上させるかを分析する。 FLは、同じトレーニング予算内で、ベースラインメソッドよりも明確な改善を実証する。 FLを各CLカテゴリの少なくとも1つの代表ベースラインに統合することにより、標準画像分類ベンチマークでは、クラスインクリメンタルでは4.91%、タスクインクリメンタルでは3.51%の精度向上が見られた。 さらに、安定性-塑性比の測定により、FLがこのバランスを効果的に向上することを確認した。 FLはまた、ImageNetのようなより困難なデータセット上で、最先端のCLメソッドよりも優れています。

関連論文リスト

• Feasible Learning [78.6167929413604]
  本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。 大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
  論文  参考訳（メタデータ） (2025-01-24T20:39:38Z)
• Unlocking the Potential of Model Calibration in Federated Learning [15.93119575317457]
  モデルキャリブレーションの概念とFLを統合した汎用フレームワークであるNon-Uniform for Federated Learning (NUCFL)を提案する。 OurFLは、各クライアントのローカルモデルとFLのグローバルモデルの関係に基づいてモデルキャリブレーションを動的に調整することで、この問題に対処する。 これにより、FLは精度を犠牲にすることなく、グローバルモデルのキャリブレーション要求を効果的に調整する。
  論文  参考訳（メタデータ） (2024-09-07T20:11:11Z)
• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
  異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。 まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。 次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。 第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-18T05:18:17Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• CyclicFL: A Cyclic Model Pre-Training Approach to Efficient Federated Learning [33.250038477336425]
  フェデレートラーニング(FL)は、高レベルのデータプライバシを保証するために、AI Internet of Things(AIoT)デバイス上で分散学習を可能にするために提案されている。 既存のFL法は、特に非IIDシナリオにおいて、収束が遅く、精度が低い。 本稿では,SGDプロセスの導出に有効な初期モデルを迅速に導出できるCyclicFLという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-01-28T13:28:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。