論文の概要: A Novel Pearson Correlation-Based Merging Algorithm for Robust Distributed Machine Learning with Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2501.11112v2
• Date: Fri, 24 Jan 2025 20:32:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 20:37:48.228270
• Title: A Novel Pearson Correlation-Based Merging Algorithm for Robust Distributed Machine Learning with Heterogeneous Data
• Title（参考訳）: 不均一データを用いたロバスト分散機械学習のためのピアソン相関に基づく新しいマージアルゴリズム
• Authors: Mohammad Ghabel Rahmat, Majid Khalilian,
• Abstract要約: 本稿では,局所的な更新の質を改善し,グローバルモデルのロバスト性を高めるための新しい手法を提案する。 提案アルゴリズムは,グローバルモデルの精度を維持しながら,局所ノード数を削減する。 シミュレーション学習シナリオにおけるMNISTデータセットの実験結果から,本手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Federated learning faces significant challenges in scenarios with heterogeneous data distributions and adverse network conditions, such as delays, packet loss, and data poisoning attacks. This paper proposes a novel method based on the SCAFFOLD algorithm to improve the quality of local updates and enhance the robustness of the global model. The key idea is to form intermediary nodes by merging local models with high similarity, using the Pearson correlation coefficient as a similarity measure. The proposed merging algorithm reduces the number of local nodes while maintaining the accuracy of the global model, effectively addressing communication overhead and bandwidth consumption. Experimental results on the MNIST dataset under simulated federated learning scenarios demonstrate the method's effectiveness. After 10 rounds of training using a CNN model, the proposed approach achieved accuracies of 0.82, 0.73, and 0.66 under normal conditions, packet loss and data poisoning attacks, respectively, outperforming the baseline SCAFFOLD algorithm. These results highlight the potential of the proposed method to improve efficiency and resilience in federated learning systems.
• Abstract（参考訳）: フェデレーション学習は、不均一なデータ分散や遅延、パケット損失、データ中毒攻撃といったネットワーク状態の悪いシナリオにおいて、大きな課題に直面している。 本稿では,SCAFFOLDアルゴリズムに基づく局所更新の品質向上とグローバルモデルの堅牢性向上のための新しい手法を提案する。 鍵となる考え方は、ピアソン相関係数を類似度尺度として、局所モデルを高い類似度でマージすることで中間ノードを形成することである。 提案アルゴリズムは,グローバルモデルの精度を維持しつつローカルノード数を削減し,通信オーバヘッドと帯域幅の消費に効果的に対処する。 シミュレーション学習シナリオにおけるMNISTデータセットの実験結果から,本手法の有効性が示された。 CNNモデルを用いた10ラウンドのトレーニングの後、通常の条件下での精度は0.82、0.73、0.66、パケットロスとデータ中毒攻撃は、それぞれベースラインのSCAFFOLDアルゴリズムより優れていた。 これらの結果は,フェデレート学習システムにおける効率性とレジリエンスを向上させるための提案手法の可能性を強調した。

関連論文リスト

• Non-Convex Optimization in Federated Learning via Variance Reduction and Adaptive Learning [13.83895180419626]
  本稿では,不均一なデータ間の非エポジロン設定に適応学習を用いたモーメントに基づく分散低減手法を提案する。 異種データによる学習率調整から,分散に関する課題を克服し,効率を損なうとともに,収束の遅さを抑えることを目的としている。
  論文  参考訳（メタデータ） (2024-12-16T11:02:38Z)
• FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
  我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。 IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-28T08:07:28Z)
• Recursive Euclidean Distance Based Robust Aggregation Technique For Federated Learning [4.848016645393023]
  フェデレーション学習は、機械学習におけるデータ可用性とプライバシの課題に対するソリューションである。 悪意のあるユーザは、ローカルモデルを悪意のあるデータでトレーニングすることで、協調学習プロセスを妨害することを目指している。 ユークリッド距離計算に基づく新しいロバストアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2023-03-20T06:48:43Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Towards Heterogeneous Clients with Elastic Federated Learning [45.2715985913761]
  フェデレーション学習では、エッジプロセッサやデータウェアハウスなどのデバイスやデータサイロ上で、データをローカルに保ちながら、マシンラーニングモデルをトレーニングする。 本稿では,不均一性に対処する非バイアスアルゴリズムであるElastic Federated Learning (EFL)を提案する。 上流と下流の両方の通信を圧縮する効率的かつ効率的なアルゴリズムである。
  論文  参考訳（メタデータ） (2021-06-17T12:30:40Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
  フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。 本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T19:21:14Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。