論文の概要: FedDD: Toward Communication-efficient Federated Learning with Differential Parameter Dropout

• arxiv url: http://arxiv.org/abs/2308.16835v1
• Date: Thu, 31 Aug 2023 16:10:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-01 13:55:38.875086
• Title: FedDD: Toward Communication-efficient Federated Learning with Differential Parameter Dropout
• Title（参考訳）: FedDD: 異なるパラメータをドロップアウトしたコミュニケーション効率のフェデレーション学習を目指して
• Authors: Zhiying Feng, Xu Chen, Qiong Wu, Wen Wu, Xiaoxi Zhang, and Qianyi Huang
• Abstract要約: フェデレートラーニング(FL)では、頻繁にモデルパラメータを交換する必要があるため、長い通信遅延が発生する。 差分パラメータDropout (FedDD) を用いたフェデレーション学習手法を提案する。 FedDDは2つの主要なモジュールで構成されている。
• 参考スコア（独自算出の注目度）: 13.056472977860976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) requires frequent exchange of model parameters, which leads to long communication delay, especially when the network environments of clients vary greatly. Moreover, the parameter server needs to wait for the slowest client (i.e., straggler, which may have the largest model size, lowest computing capability or worst network condition) to upload parameters, which may significantly degrade the communication efficiency. Commonly-used client selection methods such as partial client selection would lead to the waste of computing resources and weaken the generalization of the global model. To tackle this problem, along a different line, in this paper, we advocate the approach of model parameter dropout instead of client selection, and accordingly propose a novel framework of Federated learning scheme with Differential parameter Dropout (FedDD). FedDD consists of two key modules: dropout rate allocation and uploaded parameter selection, which will optimize the model parameter uploading ratios tailored to different clients' heterogeneous conditions and also select the proper set of important model parameters for uploading subject to clients' dropout rate constraints. Specifically, the dropout rate allocation is formulated as a convex optimization problem, taking system heterogeneity, data heterogeneity, and model heterogeneity among clients into consideration. The uploaded parameter selection strategy prioritizes on eliciting important parameters for uploading to speedup convergence. Furthermore, we theoretically analyze the convergence of the proposed FedDD scheme. Extensive performance evaluations demonstrate that the proposed FedDD scheme can achieve outstanding performances in both communication efficiency and model convergence, and also possesses a strong generalization capability to data of rare classes.
• Abstract（参考訳）: フェデレーション学習(fl)は、モデルパラメータの頻繁な交換を必要とするため、特にクライアントのネットワーク環境が大きく変化する場合、通信遅延が長くなる。 さらにパラメータサーバは、パラメータをアップロードするために最も遅いクライアント(モデルサイズが最大で、計算能力が最低、ネットワーク状態が最悪)を待つ必要があるため、通信効率が著しく低下する可能性がある。 部分的なクライアント選択のような一般的なクライアント選択手法は、計算リソースの浪費を招き、グローバルモデルの一般化を弱める。 この問題に対処するため,本論文では,クライアント選択ではなくモデルパラメータドロップアウトのアプローチを提唱すると共に,差分パラメータドロップアウトを用いたフェデレート学習方式(feddd)の新たな枠組みを提案する。 異なるクライアントの不均一な条件に合わせたモデルパラメータのアップロード比率を最適化すると同時に、クライアントのドロップアウトレート制約に従属するオブジェクトをアップロードするための重要なモデルパラメータの適切なセットを選択する。 具体的には、システム不均一性、データ不均一性、およびクライアント間のモデル不均一性を考慮した凸最適化問題として、ドロップアウトレートの割り当てを定式化する。 アップロードされたパラメータ選択戦略は、アップロードする重要なパラメータをスピードアップ収束に優先する。 さらに,提案するfedddスキームの収束を理論的に解析する。 広範な性能評価により、提案手法は通信効率とモデル収束性の両方において優れた性能を達成でき、またレアクラスのデータに対して強い一般化能力を持つことが示された。

関連論文リスト

• pFedGPA: Diffusion-based Generative Parameter Aggregation for Personalized Federated Learning [23.43592558078981]
  フェデレートラーニング(FL)は、データをローカルに保持し、モデルパラメータのみをクライアントと中央サーバ間で共有する、モデルトレーニングのための分散アプローチを提供する。 フェデレート平均化(FedAvg)のような従来の手法は、これらのパラメータを線形に集約する。 パーソナライズされたFL, textttpFedGPAのための新しい生成パラメータ集約フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-09T15:13:56Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Adapter-based Selective Knowledge Distillation for Federated Multi-domain Meeting Summarization [36.916155654985936]
  会議要約は、利用者に凝縮した要約を提供するための有望な手法として登場した。 本稿では,適応型選択的知識蒸留法(AdaFedSelecKD)を提案する。
  論文  参考訳（メタデータ） (2023-08-07T03:34:01Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
  Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。 本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-27T07:57:04Z)
• Adaptive Control of Client Selection and Gradient Compression for Efficient Federated Learning [28.185096784982544]
  フェデレートラーニング(FL)は、複数のクライアントがローカルデータを公開せずに協調的にモデルを訓練することを可能にする。 我々はFedCGと呼ばれる不均一なFLフレームワークを提案し、適応的なクライアント選択と勾配圧縮を行う。 実世界のプロトタイプとシミュレーションの両方の実験により、FedCGは他の方法と比較して最大5.3$times$ Speedupを提供できることが示された。
  論文  参考訳（メタデータ） (2022-12-19T14:19:07Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)
• Robust Federated Learning Through Representation Matching and Adaptive Hyper-parameters [5.319361976450981]
  フェデレーション学習(Federated Learning)は、複数のクライアントに属するデータに対して単一のモデルをトレーニングする、分散されたプライバシ対応の学習シナリオである。 現在のフェデレーション学習手法は、異種クライアント側データ分散に苦慮している。 本稿では,局所モデルのばらつきを低減する表現マッチング手法を提案する。
  論文  参考訳（メタデータ） (2019-12-30T20:19:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。