論文の概要: FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2207.09653v1
• Date: Wed, 20 Jul 2022 04:55:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-21 14:21:49.481704
• Title: FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning
• Title（参考訳）: feddm: コミュニケーション効率のよい連合学習のための反復分布マッチング
• Authors: Yuanhao Xiong, Ruochen Wang, Minhao Cheng, Felix Yu, Cho-Jui Hsieh
• Abstract要約: フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
• 参考スコア（独自算出の注目度）: 87.08902493524556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning~(FL) has recently attracted increasing attention from academia and industry, with the ultimate goal of achieving collaborative training under privacy and communication constraints. Existing iterative model averaging based FL algorithms require a large number of communication rounds to obtain a well-performed model due to extremely unbalanced and non-i.i.d data partitioning among different clients. Thus, we propose FedDM to build the global training objective from multiple local surrogate functions, which enables the server to gain a more global view of the loss landscape. In detail, we construct synthetic sets of data on each client to locally match the loss landscape from original data through distribution matching. FedDM reduces communication rounds and improves model quality by transmitting more informative and smaller synthesized data compared with unwieldy model weights. We conduct extensive experiments on three image classification datasets, and results show that our method can outperform other FL counterparts in terms of efficiency and model performance. Moreover, we demonstrate that FedDM can be adapted to preserve differential privacy with Gaussian mechanism and train a better model under the same privacy budget.
• Abstract（参考訳）: federated learning~(fl)は最近、プライバシーとコミュニケーションの制約の下で共同トレーニングを実現するという究極の目標をもって、学界や業界から注目を集めている。 既存の反復モデル平均化ベースのflアルゴリズムは、異なるクライアント間での非常に不均衡で非i.i.dデータパーティショニングのため、十分にパーフォーミングされたモデルを得るために多くの通信ラウンドを必要とする。 そこで我々は,複数のローカルサロゲート関数からグローバルなトレーニング目標を構築するためにFedDMを提案する。 具体的には,各クライアントに合成されたデータ集合を構築し,分散マッチングにより,オリジナルデータからのロスランドスケープを局所的にマッチングする。 FedDMは通信ラウンドを減らし、より情報に富んだ、より小さな合成データを送信することで、モデル品質を向上させる。 3つの画像分類データセットについて広範な実験を行い,提案手法が効率とモデル性能の面で他のfl法よりも優れていることを示す。 さらに,FedDMはガウス機構で差分プライバシーを保ち,同一のプライバシー予算の下でより良いモデルを訓練できることを示した。

関連論文リスト

• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• Balancing Similarity and Complementarity for Federated Learning [91.65503655796603]
  フェデレートラーニング(FL)は、モバイルとIoTシステムにおいてますます重要になっている。 FLの重要な課題の1つは、非i.d.データのような統計的不均一性を管理することである。 FL協調における類似性と相補性のバランスをとる新しいフレームワークである texttFedSaC を導入する。
  論文  参考訳（メタデータ） (2024-05-16T08:16:19Z)
• Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
  マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。 MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。 様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2024-05-10T11:52:53Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Optimizing the Collaboration Structure in Cross-Silo Federated Learning [43.388911479025225]
  フェデレートラーニング(FL)では、複数のクライアントが協力して機械学習モデルをトレーニングする。 クライアントのクラスタ化による非重複連立への負の移動を緩和する新しいFLフレームワークであるFedCollabを提案する。 以上の結果から,FedCollabは広い範囲のFLアルゴリズムにまたがる負の転送を効果的に軽減し,クラスタリングされたFLアルゴリズムを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2023-06-10T18:59:50Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
  Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。 FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。 我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
  論文  参考訳（メタデータ） (2021-08-23T15:47:53Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。