論文の概要: A Comparative Evaluation of FedAvg and Per-FedAvg Algorithms for Dirichlet Distributed Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2309.01275v1
• Date: Sun, 3 Sep 2023 21:33:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 20:21:57.145962
• Title: A Comparative Evaluation of FedAvg and Per-FedAvg Algorithms for Dirichlet Distributed Heterogeneous Data
• Title（参考訳）: ディリクレ分布不均質データに対するfedavgとper-fedavgアルゴリズムの比較評価
• Authors: Hamza Reguieg, Mohammed El Hanjri, Mohamed El Kamili, Abdellatif Kobbane
• Abstract要約: 我々は、生データを共有せずにデバイス上で分散モデルトレーニングを可能にする機械学習のパラダイムであるフェデレートラーニング(FL)について検討する。 フェデレート平均化(FedAvg)とパーフェデレーション平均化(Per-FedAvg)の2つの戦略を比較した。 この結果は、分散環境でのより効率的かつ効率的な機械学習戦略の開発に関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 2.5507252967536522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate Federated Learning (FL), a paradigm of machine learning that allows for decentralized model training on devices without sharing raw data, there by preserving data privacy. In particular, we compare two strategies within this paradigm: Federated Averaging (FedAvg) and Personalized Federated Averaging (Per-FedAvg), focusing on their performance with Non-Identically and Independently Distributed (Non-IID) data. Our analysis shows that the level of data heterogeneity, modeled using a Dirichlet distribution, significantly affects the performance of both strategies, with Per-FedAvg showing superior robustness in conditions of high heterogeneity. Our results provide insights into the development of more effective and efficient machine learning strategies in a decentralized setting.
• Abstract（参考訳）: 本稿では,機械学習のパラダイムであるフェデレーテッド・ラーニング(FL)について検討する。データプライバシの保護により,生データを共有せずにデバイス上での分散モデルトレーニングを可能にする。 特に、フェデレーション平均化(federated averaging, fedavg)とパーソナライズされたフェデレーション平均化(federated averaging, fedavg)の2つの戦略を比較し、非識別的かつ独立した分散(非iid)データのパフォーマンスに注目した。 解析の結果,ディリクレ分布を用いてモデル化したデータ不均質性は,両戦略の性能に大きく影響し,高い不均質性条件下ではfedavg当たりのロバスト性が優れていることがわかった。 この結果は、分散環境でのより効率的かつ効率的な機械学習戦略の開発に関する洞察を提供する。

関連論文リスト

• Addressing Data Heterogeneity in Federated Learning with Adaptive Normalization-Free Feature Recalibration [1.33512912917221]
  フェデレートラーニング(Federated Learning)は、ステークホルダーのデータ所有を保護し、パフォーマンスと一般化を改善した分散コラボレーティブトレーニングパラダイムである。 本稿では、重み付け標準化とチャネルアテンションを組み合わせたアーキテクチャレベルの手法である、適応正規化自由特徴校正(ANFR)を提案する。
  論文  参考訳（メタデータ） (2024-10-02T20:16:56Z)
• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• Cross-feature Contrastive Loss for Decentralized Deep Learning on Heterogeneous Data [8.946847190099206]
  異種データに基づく分散学習のための新しい手法を提案する。 一対の隣接するエージェントのクロスフィーチャーは、他のエージェントのモデルパラメータに関するエージェントのデータから得られる特徴である。 実験の結果,提案手法は異種データを用いた分散学習手法に比べて性能(テスト精度が0.2～4%向上)が優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-24T14:48:23Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• An Experimental Study of Data Heterogeneity in Federated Learning Methods for Medical Imaging [8.984706828657814]
  フェデレーション学習は、複数の機関が、プライバシー保護の方法で、ローカルデータ上で機械学習モデルを協調的にトレーニングすることを可能にする。 本研究では,データ不均一性の分類体系が,量スキュー,ラベル分布スキュー,画像取得スキューなどのフェデレーション学習方法に与える影響について検討した。 本稿では,データ量スキューの重み付き平均値,重み付き損失量,ラベル分布スキューのバッチ正規化平均値など,データの不均一性からの性能低下を克服するいくつかの緩和策を提案する。
  論文  参考訳（メタデータ） (2021-07-18T05:47:48Z)
• Deep Stable Learning for Out-Of-Distribution Generalization [27.437046504902938]
  深層ニューラルネットワークに基づくアプローチは、同様の分布を持つデータとトレーニングデータをテストする際に顕著なパフォーマンスを達成した。 トレーニングとテストデータ間の分散シフトの影響を排除することは、パフォーマンス向上の深層モデルの構築に不可欠です。 トレーニングサンプルの学習重みによる特徴間の依存関係を除去し,この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2021-04-16T03:54:21Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Effective Federated Adaptive Gradient Methods with Non-IID Decentralized Data [18.678289386084113]
  フェデレーション学習は、デバイスがデータ共有なしで協調的にモデルを学習することを可能にする。 本稿では,第1次および第2次カリブレータを併用したフェデレートAGMを提案する。 我々は、標準のAdam byepsilonを含む、連邦学習の校正スキームを比較した。
  論文  参考訳（メタデータ） (2020-09-14T16:37:44Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。