論文の概要: ReSCENE: Server-Side Replay for Structural Mitigation of Catastrophic Forgetting in Federated Continual Learning
- arxiv url: http://arxiv.org/abs/2609.38833v1
- Date: Wed, 30 Sep 2026 02:54:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.058507
- Title: ReSCENE: Server-Side Replay for Structural Mitigation of Catastrophic Forgetting in Federated Continual Learning
- Title（参考訳）: ReSCENE:フェデレーション型連続学習におけるカタストロフィックフォーミングの構造緩和のためのサーバサイドリプレイ
- Abstract要約: フェデレートされた継続的な学習は、早期のタスク知識を失うことなく、時間とともに新しいタスクを統合する必要がある。
既存のほとんどのメソッドは、クライアントが訓練したサーバ集約型学習ループに偽造防止機構を付加する。
本稿では,ReSCENEを提案する。ReSCENEは,各クライアントがローカルデータの小さな圧縮サロゲートをアップロードすることで,破滅的な忘れを緩和する。
- 参考スコア（独自算出の注目度）: 19.086083318101444
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated continual learning must integrate new tasks over time without losing earlier-task knowledge. Most existing methods attach an anti-forgetting mechanism to the client-trained, server-aggregated loop of federated learning, which holds back new learning to preserve earlier knowledge and burdens resource-constrained clients. We propose ReSCENE, which structurally mitigates catastrophic forgetting by having each client upload a small condensed surrogate of its local data while the server keeps the surrogates of past tasks and trains the global model on them together with the current task surrogates. For efficient server memory, we introduce temporal herding, which selects the more recent surrogates from the pool accumulated over a task into a compressed buffer. Our study provides a theoretical analysis showing that this buffer can represent the original task data more closely than full accumulation of all surrogates. Across CIFAR-10, CIFAR-100, and TinyImageNet, ReSCENE achieves the strongest accuracy over seven baselines, by up to $31.1$ points of average accuracy, while requiring as little as $0.11\times$ of the client computation and up to $179\times$ less upload than the model-update baselines. ReSCENE further demonstrates its effectiveness when scaled to larger client populations and larger models while remaining efficient, which makes it a practical method for federated continual learning.
- Abstract（参考訳）: フェデレートされた継続的な学習は、早期のタスク知識を失うことなく、時間とともに新しいタスクを統合する必要がある。
既存のほとんどのメソッドは、クライアントが訓練し、サーバが集約したフェデレーション学習のループに、アンチフォッゲッティングメカニズムを付加する。
本稿では,サーバが過去のタスクのサロゲートを保持し,現在のタスクサロゲートとともにグローバルモデルをトレーニングしている間に,各クライアントがローカルデータの小さなコンデンスサロゲートをアップロードすることで,破滅的な忘れを構造的に緩和するReSCENEを提案する。
効率的なサーバメモリを実現するために,タスク上に蓄積したプールから最新のサロゲートを圧縮バッファに選択する時間的シェディングを導入する。
本研究は, このバッファが全てのサロゲートの完全蓄積よりも, 元のタスクデータを表現することができることを示す理論的解析を行った。
CIFAR-10、CIFAR-100、TinyImageNet全体では、ReSCENEは7つのベースラインに対して最大311.1ドル、クライアントの計算で0.11ドル、モデル更新ベースラインで最大179ドルという最強の精度を達成している。
ReSCENEは、より大規模なクライアントや大規模モデルにスケールしても効率が良く、その効果を実証する。
関連論文リスト
- CycleSL: Server-Client Cyclical Update Driven Scalable Split Learning [60.59553507555341]
本稿では,新たなアグリゲーションフリーな分割学習フレームワークであるCycleSLを紹介する。
ブロック座標降下の交互化によって着想を得たCycleSLは、サーバサイドトレーニングを独立した高レベルの機械学習タスクとして扱う。
実験結果から,CycleSLのモデル性能向上効果が示唆された。
論文 参考訳（メタデータ） (2025-11-23T21:00:21Z) - FedAR: Addressing Client Unavailability in Federated Learning with Local Update Approximation and Rectification [8.747592727421596]
フェデレートラーニング(FL)は、クライアントがサーバの調整の下で機械学習モデルを協調的にトレーニングすることを可能にする。
FedARは、すべてのクライアントをグローバルモデルアップデートに参加させて、サーバ上の高品質なグローバルモデルを達成することができます。
FedARはまた、多くのクライアントが存在し、クライアントが利用できないという印象的なパフォーマンスを描いている。
論文 参考訳（メタデータ） (2024-07-26T21:56:52Z) - AdaIR: Exploiting Underlying Similarities of Image Restoration Tasks with Adapters [57.62742271140852]
AdaIRは、パフォーマンスを犠牲にすることなく、低コストで効率的なトレーニングを可能にする新しいフレームワークである。
AdaIRは軽量でタスク固有のモジュールのトレーニングのみを必要とし、より効率的なストレージとトレーニング体制を確保する。
論文 参考訳（メタデータ） (2024-04-17T15:31:06Z) - Scalable Federated Unlearning via Isolated and Coded Sharding [76.12847512410767]
フェデレートされたアンラーニングは、クライアントレベルのデータエフェクトを削除するための有望なパラダイムとして登場した。
本稿では,分散シャーディングと符号化コンピューティングに基づく,スケーラブルなフェデレーション・アンラーニング・フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-29T08:41:45Z) - Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。
既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。
本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-29T07:04:48Z) - Faster Federated Learning with Decaying Number of Local SGD Steps [23.447883712141422]
InNIST Learning (FL)デバイスは、プライベートデータを中央または他のクライアントと共有することなく、機械学習モデルを協調的にトレーニングする。
本稿では、FLモデルの最終的な性能を共同で向上させる訓練が進むにつれて、$K$を提案する。
論文 参考訳（メタデータ） (2023-05-16T17:36:34Z) - Aggregation Service for Federated Learning: An Efficient, Secure, and
More Resilient Realization [22.61730495802799]
本稿では,学習過程を通じて個々のモデル更新を効率よく保護するシステム設計を提案する。
本システムは,実用性能で,ベースラインに匹敵する精度を実現している。
論文 参考訳（メタデータ） (2022-02-04T05:03:46Z) - ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。
ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。
以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
論文 参考訳（メタデータ） (2021-10-11T14:45:00Z) - Comfetch: Federated Learning of Large Networks on Constrained Clients
via Sketching [28.990067638230254]
フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。
我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
論文 参考訳（メタデータ） (2021-09-17T04:48:42Z) - Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive
Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。
本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。
ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文 参考訳（メタデータ） (2020-06-22T10:57:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。