論文の概要: DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics

• arxiv url: http://arxiv.org/abs/2211.10878v1
• Date: Sun, 20 Nov 2022 06:13:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 18:19:07.004540
• Title: DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics
• Title（参考訳）: DYNAFED:グローバルダイナミクスによるクライアントデータの異種処理
• Authors: Renjie Pi, Weizhong Zhang, Yueqi Xie, Jiahui Gao, Xiaoyu Wang, Sunghun Kim, Qifeng Chen
• Abstract要約: 非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。 自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。 本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
• 参考スコア（独自算出の注目度）: 60.60173139258481
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Federated Learning (FL) paradigm is known to face challenges under heterogeneous client data. Local training on non-iid distributed data results in deflected local optimum, which causes the client models drift further away from each other and degrades the aggregated global model's performance. A natural solution is to gather all client data onto the server, such that the server has a global view of the entire data distribution. Unfortunately, this reduces to regular training, which compromises clients' privacy and conflicts with the purpose of FL. In this paper, we put forth an idea to collect and leverage global knowledge on the server without hindering data privacy. We unearth such knowledge from the dynamics of the global model's trajectory. Specifically, we first reserve a short trajectory of global model snapshots on the server. Then, we synthesize a small pseudo dataset such that the model trained on it mimics the dynamics of the reserved global model trajectory. Afterward, the synthesized data is used to help aggregate the deflected clients into the global model. We name our method Dynafed, which enjoys the following advantages: 1) we do not rely on any external on-server dataset, which requires no additional cost for data collection; 2) the pseudo data can be synthesized in early communication rounds, which enables Dynafed to take effect early for boosting the convergence and stabilizing training; 3) the pseudo data only needs to be synthesized once and can be directly utilized on the server to help aggregation in subsequent rounds. Experiments across extensive benchmarks are conducted to showcase the effectiveness of Dynafed. We also provide insights and understanding of the underlying mechanism of our method.
• Abstract（参考訳）: フェデレーション学習(fl)パラダイムは、異種クライアントデータの下での課題に直面することが知られている。 非iid分散データに対する局所的なトレーニングは、偏向した局所的最適となり、クライアントモデルが互いにさらに離れて移動し、集約されたグローバルモデルのパフォーマンスが低下する。 自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。 残念ながら、これは定期的なトレーニングに還元され、クライアントのプライバシを侵害し、flの目的と矛盾する。 本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。 我々は、グローバルモデルの軌道の力学からそのような知識を抽出する。 具体的には、まずサーバ上でグローバルモデルスナップショットの短い軌跡を予約する。 そこで我々は,訓練したモデルが予約されたグローバルモデル軌道のダイナミクスを模倣するように,小さな擬似データセットを合成する。 その後、合成データを用いて、デフレクションされたクライアントをグローバルモデルに集約する。 私たちはDynafedというメソッドを名付けました。 1) 外部のサーバ上のデータセットには依存しませんが、データ収集には追加のコストは必要ありません。 2 疑似データは、初期の通信ラウンドにおいて合成することができ、これにより、dynafedは、収束及び安定化訓練の促進のために早期に効果を発揮できる。 3) 疑似データは一度だけ合成される必要があり、その後のラウンドの集約を助けるためにサーバ上で直接利用できる。 Dynafedの有効性を示すため、広範囲なベンチマークで実験が行われた。 また,本手法の基盤となるメカニズムの洞察と理解も提供する。

関連論文リスト

• ConDa: Fast Federated Unlearning with Contribution Dampening [46.074452659791575]
  ConDaは、各クライアントのグローバルモデルに影響を与えるパラメータを追跡することによって、効率的なアンラーニングを実行するフレームワークである。 複数のデータセットで実験を行い、ConDaがクライアントのデータを忘れるのが効果的であることを実証する。
  論文  参考訳（メタデータ） (2024-10-05T12:45:35Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• LEFL: Low Entropy Client Sampling in Federated Learning [6.436397118145477]
  Federated Learning(FL)は、複数のクライアントが協力して、プライベートデータを使用して単一のグローバルモデルを最適化する、機械学習パラダイムである。 本稿では,モデルが学習した高レベルの特徴に基づいて,クライアントのクラスタリングを1回行うことで,新たなサンプリング手法LEFLを提案する。 提案手法で選択したサンプルクライアントは,グローバルなデータ分布に対して,相対エントロピーが低いことを示す。
  論文  参考訳（メタデータ） (2023-12-29T01:44:20Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Federated Learning for Semantic Parsing: Task Formulation, Evaluation Setup, New Algorithms [29.636944156801327]
  複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。 Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。 より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
  論文  参考訳（メタデータ） (2023-05-26T19:25:49Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• FedProf: Optimizing Federated Learning with Dynamic Data Profiling [9.74942069718191]
  フェデレートラーニング(FL)は、分散データから学ぶためのプライバシ保護ソリューションとして大きな可能性を示している。 クライアントの大多数は、バイアス、ノイズ、あるいは無関係な低品質のデータのみを保有している。 本研究では,データプライバシを侵害することなくFLを最適化するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-02T20:10:14Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。