論文の概要: Communication-Efficient Diffusion Strategy for Performance Improvement of Federated Learning with Non-IID Data

• arxiv url: http://arxiv.org/abs/2207.07493v4
• Date: Mon, 30 Sep 2024 04:29:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 21:58:40.421178
• Title: Communication-Efficient Diffusion Strategy for Performance Improvement of Federated Learning with Non-IID Data
• Title（参考訳）: 非IIDデータを用いたフェデレーション学習の性能向上のためのコミュニケーション効率の良い拡散戦略
• Authors: Seyoung Ahn, Soohyeong Kim, Yongseok Kwon, Joohan Park, Jiseung Youn, Sunghyun Cho,
• Abstract要約: 非IIDデータを用いたグローバルモデルの性能を最大化するために,機械学習モデル(FedDif)の新たな拡散戦略を提案する。 FedDifはトップ1テストの精度を最大34.89%改善し、通信コストを最大63.49%まで14.6%削減した。
• 参考スコア（独自算出の注目度）: 10.994226932599403
• License:
• Abstract: In 6G mobile communication systems, various AI-based network functions and applications have been standardized. Federated learning (FL) is adopted as the core learning architecture for 6G systems to avoid privacy leakage from mobile user data. However, in FL, users with non-independent and identically distributed (non-IID) datasets can deteriorate the performance of the global model because the convergence direction of the gradient for each dataset is different, thereby inducing a weight divergence problem. To address this problem, we propose a novel diffusion strategy for machine learning (ML) models (FedDif) to maximize the performance of the global model with non-IID data. FedDif enables the local model to learn different distributions before parameter aggregation by passing the local models through users via device-to-device communication. Furthermore, we theoretically demonstrate that FedDif can circumvent the weight-divergence problem. Based on this theory, we propose a communication-efficient diffusion strategy for ML models that can determine the trade-off between learning performance and communication cost using auction theory. The experimental results show that FedDif improves the top-1 test accuracy by up to 34.89\% and reduces communication costs by 14.6% to a maximum of 63.49%.
• Abstract（参考訳）: 6Gモバイル通信システムでは、様々なAIベースのネットワーク機能やアプリケーションが標準化されている。 フェデレートラーニング(FL)は、6Gシステムのコアラーニングアーキテクチャとして採用され、モバイルユーザデータのプライバシー漏洩を回避する。 しかし、FLでは、データセットの勾配の収束方向が異なるため、非独立で同一の(非IID)データセットを持つユーザは、グローバルモデルの性能を低下させ、重み分散問題を生じさせる。 この問題に対処するため,非IIDデータを用いたグローバルモデルの性能を最大化するために,機械学習モデル(FedDif)の新たな拡散戦略を提案する。 FedDifは、デバイス間通信を介してユーザを介してローカルモデルを渡すことで、パラメータアグリゲーションの前に、ローカルモデルが異なる分布を学習することを可能にする。 さらに,FedDifが重み分散問題を回避できることを理論的に示す。 この理論に基づいて,学習性能と通信コストのトレードオフをオークション理論を用いて決定できるMLモデルの通信効率拡散戦略を提案する。 実験の結果、FedDifはトップ1テストの精度を最大34.89倍に改善し、通信コストを最大63.49%まで14.6%削減した。

関連論文リスト

• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。 これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。 無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• Navigating Heterogeneity and Privacy in One-Shot Federated Learning with Diffusion Models [6.921070916461661]
  フェデレートラーニング(FL)は、複数のクライアントがデータのプライバシを保持しながらモデルをまとめてトレーニングすることを可能にする。 ワンショットフェデレーション学習は、コミュニケーションラウンドの削減、効率の向上、盗聴攻撃に対するセキュリティ向上によるソリューションとして登場した。
  論文  参考訳（メタデータ） (2024-05-02T17:26:52Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• One-Shot Sequential Federated Learning for Non-IID Data by Enhancing Local Model Diversity [26.09617693587105]
  我々は,局所モデルの多様性向上戦略を提案することにより,非IIDデータに対する一発の逐次フェデレーション学習を改善する。 提案手法は,既存のワンショットPFL法よりも優れた性能を示し,最先端のワンショットSFL法と比較して精度が向上する。
  論文  参考訳（メタデータ） (2024-04-18T12:31:48Z)
• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。