論文の概要: Jointly Exploring Client Drift and Catastrophic Forgetting in Dynamic
Learning
- arxiv url: http://arxiv.org/abs/2309.00688v1
- Date: Fri, 1 Sep 2023 18:14:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 01:47:08.434463
- Title: Jointly Exploring Client Drift and Catastrophic Forgetting in Dynamic
Learning
- Title（参考訳）: 動的学習におけるクライアントドリフトとカタストロフィックの併用探索
- Authors: Niklas Babendererde, Moritz Fuchs, Camila Gonzalez, Yuri Tolkach,
Anirban Mukhopadhyay
- Abstract要約: クライアントのDriftとCaastrophic Forgettingは、一貫したパフォーマンスを保証するための基本的な障害です。
クライアントドリフトとカタストロフィック・フォーッティングのための制御されたテスト環境を構築するための統一的なフレームワークを提案する。
我々は、中程度のクライアントドリフトとカタストロフィックフォーッティングの組み合わせによって、結果のモデルの性能も向上できることを示した。
- 参考スコア（独自算出の注目度）: 1.0808810256442274
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated and Continual Learning have emerged as potential paradigms for the
robust and privacy-aware use of Deep Learning in dynamic environments. However,
Client Drift and Catastrophic Forgetting are fundamental obstacles to
guaranteeing consistent performance. Existing work only addresses these
problems separately, which neglects the fact that the root cause behind both
forms of performance deterioration is connected. We propose a unified analysis
framework for building a controlled test environment for Client Drift -- by
perturbing a defined ratio of clients -- and Catastrophic Forgetting -- by
shifting all clients with a particular strength. Our framework further
leverages this new combined analysis by generating a 3D landscape of the
combined performance impact from both. We demonstrate that the performance drop
through Client Drift, caused by a certain share of shifted clients, is
correlated to the drop from Catastrophic Forgetting resulting from a
corresponding shift strength. Correlation tests between both problems for
Computer Vision (CelebA) and Medical Imaging (PESO) support this new
perspective, with an average Pearson rank correlation coefficient of over 0.94.
Our framework's novel ability of combined spatio-temporal shift analysis allows
us to investigate how both forms of distribution shift behave in mixed
scenarios, opening a new pathway for better generalization. We show that a
combination of moderate Client Drift and Catastrophic Forgetting can even
improve the performance of the resulting model (causing a "Generalization
Bump") compared to when only one of the shifts occurs individually. We apply a
simple and commonly used method from Continual Learning in the federated
setting and observe this phenomenon to be reoccurring, leveraging the ability
of our framework to analyze existing and novel methods for Federated and
Continual Learning.
- Abstract（参考訳）: Federated and Continual Learningは、動的環境におけるDeep Learningの堅牢でプライバシーに配慮した使用のための潜在的なパラダイムとして登場した。
しかし、Client DriftとCaastrophic Forgettingは、一貫したパフォーマンスを保証するための基本的な障害である。
既存の作業はこれらの問題に別々に対処するのみであり、両方のパフォーマンス劣化の根本原因が接続されているという事実を無視している。
クライアントの所定の比率を摂動することで、クライアントのコントロールされたテスト環境を構築するための統一的な分析フレームワークを提案します。
当社のフレームワークは、この新たな組み合わせ分析をさらに活用し、両方のパフォーマンスへの影響を3dランドスケープを生成します。
シフトしたクライアントの一定割合によるクライアントドリフトによるパフォーマンス低下は、対応するシフト強度から生じる破滅的な忘れることの低下と相関することを示す。
コンピュータビジョン(celeba)と医用画像(peso)の両問題の相関テストはこの新しい視点を支持し、平均ピアソンランク相関係数は0.94以上である。
私たちのフレームワークは時空間的シフト分析を組み合わせることで、分散シフトの両形態が混合シナリオにおいてどのように振る舞うかを調べることができ、より良い一般化のための新しい経路を開くことができる。
そこで本研究では,中程度のクライアントドリフトとカタストロフィックフォーッティングの組み合わせにより,各シフトの1つだけが個別に発生する場合と比較して,結果モデルの性能を向上できることを示す。
本稿では,フェデレーションと継続学習のための既存の新しい手法を解析するためのフレームワークの能力を活用し,この現象を再帰的に観察する上で,連続学習からの単純で一般的な手法を適用した。
関連論文リスト
- FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。
我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。
我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
論文 参考訳（メタデータ） (2024-05-20T06:12:33Z) - Scalable Federated Unlearning via Isolated and Coded Sharding [76.12847512410767]
フェデレートされたアンラーニングは、クライアントレベルのデータエフェクトを削除するための有望なパラダイムとして登場した。
本稿では,分散シャーディングと符号化コンピューティングに基づく,スケーラブルなフェデレーション・アンラーニング・フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-29T08:41:45Z) - How to Collaborate: Towards Maximizing the Generalization Performance in
Cross-Silo Federated Learning [12.86056968708516]
フェデレートクラスタリング(FL)は、プライバシを保存する分散学習フレームワークとして、鮮明な注目を集めている。
本研究では、クライアントがFLデータの後、モデルオーナーとなるクロスサイロFLに焦点を当てる。
我々は、より多くのトレーニングデータを持つ他のクライアントと協調することで、クライアントのパフォーマンスを改善できると定式化します。
論文 参考訳（メタデータ） (2024-01-24T05:41:34Z) - Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳（メタデータ） (2024-01-10T04:55:24Z) - Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
フェデレートラーニングは大規模機械学習の強力なパラダイムである。
FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。
本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
論文 参考訳（メタデータ） (2023-06-28T18:52:27Z) - Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳（メタデータ） (2023-03-01T06:16:15Z) - Federated Learning under Heterogeneous and Correlated Client
Availability [10.05687757555923]
本稿では,FedAvg-like FLアルゴリズムに対する不均一かつ相関のあるクライアント可用性下での最初の収束解析について述べる。
本稿では,収束速度の最大化とモデルバイアスの最小化という相反する目標のバランスをとろうとする新しいFLアルゴリズムCA-Fedを提案する。
実験の結果,CA-Fedは最先端のAdaFedやF3ASTよりも時間平均精度が高く,標準偏差も低いことがわかった。
論文 参考訳（メタデータ） (2023-01-11T18:38:48Z) - When Do Curricula Work in Federated Learning? [56.88941905240137]
カリキュラム学習は非IID性を大幅に軽減する。
クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。
本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
論文 参考訳（メタデータ） (2022-12-24T11:02:35Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - Addressing Client Drift in Federated Continual Learning with Adaptive
Optimization [10.303676184878896]
本稿では,NetTailorを連続学習候補として活用することにより,FCL(Federated Continual Learning)を実現するための枠組みを概説する。
適応型フェデレーション最適化は,クライアントドリフトの悪影響を低減し,CIFAR100,MiniImagenet,Deathlonベンチマーク上での有効性を示す。
論文 参考訳（メタデータ） (2022-03-24T20:00:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。