論文の概要: Global Update Guided Federated Learning

• arxiv url: http://arxiv.org/abs/2204.03920v1
• Date: Fri, 8 Apr 2022 08:36:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-11 14:07:55.205303
• Title: Global Update Guided Federated Learning
• Title（参考訳）: グローバルアップデートによる連合学習
• Authors: Qilong Wu, Lin Liu, Shibei Xue
• Abstract要約: フェデレーション学習は、データの代わりにモデルを交換することで、データのプライバシとセキュリティを保護する。 本稿では,局所目的関数にモデルコサイン損失を導入したグローバル更新誘導型フェデレーションラーニング(FedGG)を提案する。 数値シミュレーションにより、FedGGはモデル収束精度と速度を著しく改善していることが示された。
• 参考スコア（独自算出の注目度）: 11.731231528534035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning protects data privacy and security by exchanging models instead of data. However, unbalanced data distributions among participating clients compromise the accuracy and convergence speed of federated learning algorithms. To alleviate this problem, unlike previous studies that limit the distance of updates for local models, we propose global-update-guided federated learning (FedGG), which introduces a model-cosine loss into local objective functions, so that local models can fit local data distributions under the guidance of update directions of global models. Furthermore, considering that the update direction of a global model is informative in the early stage of training, we propose adaptive loss weights based on the update distances of local models. Numerical simulations show that, compared with other advanced algorithms, FedGG has a significant improvement on model convergence accuracies and speeds. Additionally, compared with traditional fixed loss weights, adaptive loss weights enable our algorithm to be more stable and easier to implement in practice.
• Abstract（参考訳）: フェデレーション学習は、データの代わりにモデルを交換することで、データのプライバシとセキュリティを保護する。 しかし、参加者間の不均衡なデータ分布は、連合学習アルゴリズムの精度と収束速度を損なう。 この問題を緩和するために、局所モデル更新の距離を制限する従来の研究とは異なり、局所目的関数にモデルコサイン損失を導入し、局所モデルがグローバルモデルの更新方向のガイダンスの下で局所データ分布に適合できるように、グローバル更新誘導型フェデレーションラーニング(FedGG)を提案する。 さらに,学習の初期段階において,グローバルモデルの更新方向が有益であることを考慮し,局所モデルの更新距離に基づく適応損失重み付けを提案する。 数値シミュレーションにより、他の高度なアルゴリズムと比較して、FedGGはモデル収束精度と速度を著しく改善していることが示された。 さらに、従来の固定損失重みと比較して、適応損失重みは我々のアルゴリズムをより安定して実装しやすくする。

関連論文リスト

• Mitigating System Bias in Resource Constrained Asynchronous Federated Learning Systems [2.8790600498444032]
  本稿では,AFL(Asynchronous Federated Learning)デプロイメントにおける動的グローバルモデルアグリゲーション手法を提案する。 提案手法は,アップロード頻度に基づいてクライアントモデル更新の重み付けをスコアリングし,その重み付けを調整し,デバイス機能の違いに対応する。
  論文  参考訳（メタデータ） (2024-01-24T10:51:15Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
  我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。 IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-28T08:07:28Z)
• Recursive Euclidean Distance Based Robust Aggregation Technique For Federated Learning [4.848016645393023]
  フェデレーション学習は、機械学習におけるデータ可用性とプライバシの課題に対するソリューションである。 悪意のあるユーザは、ローカルモデルを悪意のあるデータでトレーニングすることで、協調学習プロセスを妨害することを目指している。 ユークリッド距離計算に基づく新しいロバストアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2023-03-20T06:48:43Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Revisiting Communication-Efficient Federated Learning with Balanced Global and Local Updates [14.851898446967672]
  本研究では,地域研修の数とグローバルアグリゲーションの数との最適なトレードオフを調査し,分析する。 提案手法は予測精度の点で性能が向上し,ベースライン方式よりもはるかに高速に収束する。
  論文  参考訳（メタデータ） (2022-05-03T13:05:26Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Federated Learning With Quantized Global Model Updates [84.55126371346452]
  モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。 本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-18T16:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。