論文の概要: Reducing Bias in Federated Class-Incremental Learning with Hierarchical Generative Prototypes
- arxiv url: http://arxiv.org/abs/2406.02447v1
- Date: Tue, 4 Jun 2024 16:12:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 15:30:46.780329
- Title: Reducing Bias in Federated Class-Incremental Learning with Hierarchical Generative Prototypes
- Title(参考訳): 階層的生成型を用いたフェデレーションクラスインクリメンタルラーニングにおけるバイアス低減
- Authors: Riccardo Salami, Pietro Buzzega, Matteo Mosconi, Mattia Verasani, Simone Calderara,
- Abstract要約: Federated Learning (FL) は、ディープモデルのトレーニングを、複数のデバイスに分散した計算によって解き放つことを目的としている。
FCLで自然に現れるインクリメンタルとフェデレーションのバイアスに光を当てました。
我々の提案は、トレーニング済みのバックボーンを効率的に微調整することで、最後の層のバイアスを抑える。
- 参考スコア(独自算出の注目度): 10.532838477096055
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) aims at unburdening the training of deep models by distributing computation across multiple devices (clients) while safeguarding data privacy. On top of that, Federated Continual Learning (FCL) also accounts for data distribution evolving over time, mirroring the dynamic nature of real-world environments. In this work, we shed light on the Incremental and Federated biases that naturally emerge in FCL. While the former is a known problem in Continual Learning, stemming from the prioritization of recently introduced classes, the latter (i.e., the bias towards local distributions) remains relatively unexplored. Our proposal constrains both biases in the last layer by efficiently fine-tuning a pre-trained backbone using learnable prompts, resulting in clients that produce less biased representations and more biased classifiers. Therefore, instead of solely relying on parameter aggregation, we also leverage generative prototypes to effectively balance the predictions of the global model. Our method improves on the current State Of The Art, providing an average increase of +7.9% in accuracy.
- Abstract(参考訳): Federated Learning (FL) は、複数のデバイス(クライアント)に分散した計算を分散し、データのプライバシを保護することによって、ディープモデルのトレーニングを解き放つことを目的としている。
それに加えて、FCL(Federated Continual Learning)は、リアルタイム環境の動的性質を反映した、時間とともに進化するデータ分散も説明しています。
この研究では、FCLで自然に現れるインクリメンタルとフェデレーションのバイアスに光を当てました。
前者は、最近導入されたクラスの優先順位付けに起因して、連続学習において既知の問題であるが、後者(すなわち、局所分布に対する偏見)は、比較的未解明のままである。
提案手法は,学習可能なプロンプトを用いて事前学習したバックボーンを効率よく微調整することにより,最終層のバイアスを抑える。
したがって、パラメータアグリゲーションのみに頼るのではなく、生成プロトタイプを活用し、グローバルモデルの予測を効果的にバランスさせる。
提案手法は現状を改良し, 平均精度は+7.9%向上した。
関連論文リスト
- Decoupled Federated Learning on Long-Tailed and Non-IID data with
Feature Statistics [20.781607752797445]
特徴統計量(DFL-FS)を用いた2段階分離型フェデレーション学習フレームワークを提案する。
最初の段階では、サーバは、マスキングされたローカル特徴統計クラスタリングによってクライアントのクラスカバレッジ分布を推定する。
第2段階では、DFL-FSは、グローバルな特徴統計に基づくフェデレーションされた特徴再生を使用して、長い尾を持つデータ分布へのモデルの適応性を高める。
論文 参考訳(メタデータ) (2024-03-13T09:24:59Z) - FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳(メタデータ) (2024-02-10T18:14:57Z) - FedLoGe: Joint Local and Generic Federated Learning under Long-tailed
Data [46.29190753993415]
Federated Long-Tailed Learning (Fed-LT)は、分散化されたローカルクライアントから収集されたデータが、グローバルに普及しているロングテール分布を示すパラダイムである。
本稿では、Fed-LT(FedLoGe)におけるFederated Local and Generic Model Training(FedLoGe)というアプローチを紹介し、ローカルモデルとジェネリックモデルの両方のパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2024-01-17T05:04:33Z) - Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。
本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。
提案手法は最先端手法に比べて平均精度が13%高い。
論文 参考訳(メタデータ) (2023-11-14T14:37:33Z) - Window-based Model Averaging Improves Generalization in Heterogeneous
Federated Learning [29.140054600391917]
Federated Learning (FL)は、分散ユーザからグローバルモデルを学び、プライバシを保護することを目的としている。
ウィンドウベースアプローチを用いて,異なるラウンドからグローバルモデルを集約するWIMA(Window-based Model Averaging)を提案する。
本実験は,WIMAの分散シフトに対する堅牢性やクライアントサンプリングの悪さを実証し,よりスムーズで安定した学習傾向を示した。
論文 参考訳(メタデータ) (2023-10-02T17:30:14Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-07-05T12:49:02Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳(メタデータ) (2023-01-25T03:18:10Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Class Balancing GAN with a Classifier in the Loop [58.29090045399214]
本稿では,GANを学習するための理論的動機付けクラスバランス正則化器を提案する。
我々の正規化器は、訓練済みの分類器からの知識を利用して、データセット内のすべてのクラスのバランスの取れた学習を確実にします。
複数のデータセットにまたがる既存手法よりも優れた性能を達成し,長期分布の学習表現における正規化器の有用性を実証する。
論文 参考訳(メタデータ) (2021-06-17T11:41:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。