Fugu-MT 論文翻訳(概要): Flashbacks to Harmonize Stability and Plasticity in Continual Learning

論文の概要: Flashbacks to Harmonize Stability and Plasticity in Continual Learning

arxiv url: http://arxiv.org/abs/2506.00477v1
Date: Sat, 31 May 2025 09:04:58 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-04 21:47:33.095224
Title: Flashbacks to Harmonize Stability and Plasticity in Continual Learning
Title（参考訳）: 連続学習における安定性と塑性を調和させるフラッシュバック
Authors: Leila Mahmoodi, Peyman Moghadam, Munawar Hayat, Christian Simon, Mehrtash Harandi,
Abstract要約: Flashback Learning (FL) は連続学習(CL)におけるモデルの安定性と可塑性を調和させるように設計されている FLは2段階のトレーニングプロセスを通じて動作し、様々なCLメソッドにシームレスに統合することができる。
参考スコア（独自算出の注目度）: 36.686610963247794
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce Flashback Learning (FL), a novel method designed to harmonize the stability and plasticity of models in Continual Learning (CL). Unlike prior approaches that primarily focus on regularizing model updates to preserve old information while learning new concepts, FL explicitly balances this trade-off through a bidirectional form of regularization. This approach effectively guides the model to swiftly incorporate new knowledge while actively retaining its old knowledge. FL operates through a two-phase training process and can be seamlessly integrated into various CL methods, including replay, parameter regularization, distillation, and dynamic architecture techniques. In designing FL, we use two distinct knowledge bases: one to enhance plasticity and another to improve stability. FL ensures a more balanced model by utilizing both knowledge bases to regularize model updates. Theoretically, we analyze how the FL mechanism enhances the stability-plasticity balance. Empirically, FL demonstrates tangible improvements over baseline methods within the same training budget. By integrating FL into at least one representative baseline from each CL category, we observed an average accuracy improvement of up to 4.91% in Class-Incremental and 3.51% in Task-Incremental settings on standard image classification benchmarks. Additionally, measurements of the stability-to-plasticity ratio confirm that FL effectively enhances this balance. FL also outperforms state-of-the-art CL methods on more challenging datasets like ImageNet.
Abstract（参考訳）: 本稿では,連続学習(CL)におけるモデルの安定性と可塑性を調和させる新しい手法であるFlashback Learning(FL)を紹介する。新しい概念を学習しながら古い情報を保存するために、主にモデルの更新を正則化することに焦点を当てた従来のアプローチとは異なり、FLは、このトレードオフを双方向の正則化形式で明確にバランスさせる。このアプローチは、古い知識を積極的に保持しながら、モデルに新しい知識を迅速に組み込むことを効果的に導く。 FLは2段階のトレーニングプロセスを通じて動作し、リプレイ、パラメータ正規化、蒸留、動的アーキテクチャ技術など、さまざまなCLメソッドにシームレスに統合することができる。 FLを設計する際には、プラスチック性を高めるための知識ベースと安定性を改善するための知識ベースが2つあります。 FLは、モデルの更新を正規化するために両方の知識ベースを活用することで、よりバランスのとれたモデルを保証する。理論的には、FL機構が安定性と塑性のバランスをいかに向上させるかを分析する。 FLは、同じトレーニング予算内で、ベースラインメソッドよりも明確な改善を実証する。 FLを各CLカテゴリの少なくとも1つの代表ベースラインに統合することにより、標準画像分類ベンチマークでは、クラスインクリメンタルでは4.91%、タスクインクリメンタルでは3.51%の精度向上が見られた。さらに、安定性-塑性比の測定により、FLがこのバランスを効果的に向上することを確認した。 FLはまた、ImageNetのようなより困難なデータセット上で、最先端のCLメソッドよりも優れています。

関連論文リスト

Feasible Learning [78.6167929413604]
本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
論文参考訳（メタデータ） (2025-01-24T20:39:38Z)
Unlocking the Potential of Model Calibration in Federated Learning [15.93119575317457]
モデルキャリブレーションの概念とFLを統合した汎用フレームワークであるNon-Uniform for Federated Learning (NUCFL)を提案する。 OurFLは、各クライアントのローカルモデルとFLのグローバルモデルの関係に基づいてモデルキャリブレーションを動的に調整することで、この問題に対処する。これにより、FLは精度を犠牲にすることなく、グローバルモデルのキャリブレーション要求を効果的に調整する。
論文参考訳（メタデータ） (2024-09-07T20:11:11Z)
Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
論文参考訳（メタデータ） (2024-09-05T19:00:18Z)
On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness [16.595935469099306]
本稿では,乗算器の交互方向法(ADMM)を利用して,パーソナライズおよびグローバルモデルの学習を行う最適化フレームワークFLAMEを提案する。我々の理論的解析は、軽度の仮定の下で、FLAMEのグローバル収束と2種類の収束速度を確立する。実験の結果,FLAMEは収束と精度において最先端の手法より優れており,各種攻撃下では高い精度を達成できることがわかった。
論文参考訳（メタデータ） (2024-07-23T11:35:42Z)
A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文参考訳（メタデータ） (2024-01-09T10:22:23Z)
AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文参考訳（メタデータ） (2023-12-18T05:18:17Z)
Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
論文参考訳（メタデータ） (2023-03-23T02:42:10Z)
Reliable Federated Disentangling Network for Non-IID Domain Feature [62.73267904147804]
本稿では、RFedDisと呼ばれる新しい信頼性のあるフェデレーション・ディエンタングリング・ネットワークを提案する。我々の知る限り、提案するRFedDisは、明らかな不確実性と特徴の混在に基づくFLアプローチを開発する最初の試みである。提案するRFedDisは,他の最先端FL手法と比較して信頼性の高い優れた性能を提供する。
論文参考訳（メタデータ） (2023-01-30T11:46:34Z)
CyclicFL: A Cyclic Model Pre-Training Approach to Efficient Federated Learning [33.250038477336425]
フェデレートラーニング(FL)は、高レベルのデータプライバシを保証するために、AI Internet of Things(AIoT)デバイス上で分散学習を可能にするために提案されている。既存のFL法は、特に非IIDシナリオにおいて、収束が遅く、精度が低い。本稿では,SGDプロセスの導出に有効な初期モデルを迅速に導出できるCyclicFLという新しい手法を提案する。
論文参考訳（メタデータ） (2023-01-28T13:28:34Z)
FedTune: A Deep Dive into Efficient Federated Fine-Tuning with Pre-trained Transformers [16.465900409973656]
Federated Learning(FL)は、分散型ユーザがプライベートデータを共有せずに、協調的かつ反復的に機械学習モデルをトレーニングすることを可能にする、新興パラダイムである。研究者たちは、FLの従来の畳み込みニューラルネットワークの代わりに、事前訓練されたトランスフォーマーを使用して、優れたトランスフォーマー学習能力を活用しようとしている。本手法は高速収束率と通信コストの低減に有効であることを示す。
論文参考訳（メタデータ） (2022-11-15T10:16:13Z)
Federated Unlearning [24.60965999954735]
Federated Learning(FL)は、有望な分散機械学習(ML)パラダイムとして登場した。忘れられる権利」とデータ中毒攻撃に対抗するための実用的なニーズは、訓練されたFLモデルから特定のトレーニングデータを削除または解読できる効率的な技術を必要とします。 FedEraser は、フェデレーションクライアントのデータがグローバル FL モデルに与える影響を排除することができる最初のフェデレーション未学習方法論です。
論文参考訳（メタデータ） (2020-12-27T08:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。