論文の概要: Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated
Learning
- arxiv url: http://arxiv.org/abs/2304.05260v1
- Date: Tue, 11 Apr 2023 14:51:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-12 14:35:24.261255
- Title: Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated
Learning
- Title（参考訳）: 再重み付けソフトマックスクロスエントロピーによるフェデレーション学習における忘れ方制御
- Authors: Gwen Legate, Lucas Caccia, Eugene Belilovsky
- Abstract要約: フェデレートラーニング(Federated Learning)では、独立したクライアントノードの集合で計算されたモデル更新を集約することによって、グローバルモデルが学習される。
我々は、個々のクライアントモデルが、他のクライアントのデータに関して破滅的な忘れを経験していることを示します。
本稿では,損失の計算に先立ってソフトマックスのロジットを再重み付けすることで,クロスエントロピーの目標を周期的に修正する効率的な手法を提案する。
- 参考スコア（独自算出の注目度）: 14.196701066823499
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In Federated Learning, a global model is learned by aggregating model updates
computed at a set of independent client nodes, to reduce communication costs
multiple gradient steps are performed at each node prior to aggregation. A key
challenge in this setting is data heterogeneity across clients resulting in
differing local objectives which can lead clients to overly minimize their own
local objective, diverging from the global solution. We demonstrate that
individual client models experience a catastrophic forgetting with respect to
data from other clients and propose an efficient approach that modifies the
cross-entropy objective on a per-client basis by re-weighting the softmax
logits prior to computing the loss. This approach shields classes outside a
client's label set from abrupt representation change and we empirically
demonstrate it can alleviate client forgetting and provide consistent
improvements to standard federated learning algorithms. Our method is
particularly beneficial under the most challenging federated learning settings
where data heterogeneity is high and client participation in each round is low.
- Abstract（参考訳）: フェデレーション学習では、独立したクライアントノードの集合で計算されたモデル更新を集約することで、コミュニケーションコストを低減し、集約前に各ノードで複数の勾配ステップを実行することにより、グローバルモデルを学ぶ。
この設定における重要な課題は、クライアント間のデータの不均一性であり、結果として、クライアントは、グローバルソリューションから切り離されて、自身のローカルな目標を過度に最小化することができるローカルな目的が異なる。
個々のクライアントモデルが他のクライアントのデータに関して壊滅的な忘れを経験できることを実証し、損失を計算する前にsoftmaxロジットを再重み付けすることによりクライアント単位のクロスエントロピー目標を修正する効率的なアプローチを提案する。
このアプローチは、クライアントのラベルセット外のクラスを突然の表現変更から保護し、クライアントの忘れを緩和し、標準のフェデレーション学習アルゴリズムに一貫した改善をもたらすことを実証的に実証する。
本手法は,データの不均一性が高く,各ラウンドのクライアント参加率が低い,最も困難な連合学習環境において特に有益である。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Utilizing Free Clients in Federated Learning for Focused Model
Enhancement [9.370655190768163]
Federated Learning(FL)は、分散機械学習のアプローチで、分散化された異種データのモデルを学ぶ。
我々はこの課題に対処するためにFedALIGN(Federated Adaptive Learning with Inclusion of Global Needs)を提案する。
論文 参考訳（メタデータ） (2023-10-06T18:23:40Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。
具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。
我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
論文 参考訳（メタデータ） (2023-07-05T11:58:58Z) - Elastically-Constrained Meta-Learner for Federated Learning [3.032797107899338]
フェデレートラーニング(Federated Learning)とは、データ共有を禁止する複数のパーティを対象とした、協調的な機械学習モデルに対するアプローチである。
フェデレーション学習の課題の1つは、クライアント間の非制約データである。
論文 参考訳（メタデータ） (2023-06-29T05:58:47Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳（メタデータ） (2023-05-26T19:25:49Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - Communication-Efficient Federated Learning with Accelerated Client Gradient [46.81082897703729]
フェデレーション学習は、クライアントデータセットの不均一な特徴のために、遅くて不安定な収束に悩まされることが多い。
本稿では,クライアント間の一貫性を改善し,サーバモデルの収束を容易にする,シンプルだが効果的なフェデレーション学習フレームワークを提案する。
我々は,アルゴリズムの理論的収束率を示し,精度と通信効率の点で顕著な性能向上を示す。
論文 参考訳（メタデータ） (2022-01-10T05:31:07Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳（メタデータ） (2021-08-17T17:53:05Z) - Federated Noisy Client Learning [105.00756772827066]
フェデレートラーニング(FL)は、複数のローカルクライアントに依存する共有グローバルモデルを協調的に集約する。
標準FLメソッドは、集約されたモデル全体のパフォーマンスを損なううるノイズの多いクライアントの問題を無視します。
本稿では,Fed-NCL (Federated Noisy Client Learning) を提案する。
論文 参考訳（メタデータ） (2021-06-24T11:09:17Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。