論文の概要: The Key of Parameter Skew in Federated Learning

• arxiv url: http://arxiv.org/abs/2408.11278v1
• Date: Wed, 21 Aug 2024 02:01:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 18:48:55.535440
• Title: The Key of Parameter Skew in Federated Learning
• Title（参考訳）: フェデレーションラーニングにおけるパラメータスキューの鍵
• Authors: Sifan Wang, Junfeng Liao, Ye Yuan, Riquan Zhang,
• Abstract要約: フェデレートラーニング(FL)は、生データを交換することなく、異なるデータオーナでディープラーニングを実行するための優れたソリューションとして登場した。 本稿では,大域的モデルパラメータ推定の精度に大きく影響を与える現象を記述するために,パラメータスキューの概念を提案する。 高品質なグローバルモデルを得るためのアグリゲーション戦略であるFedSAを紹介する。
• 参考スコア（独自算出の注目度）: 7.262772593561942
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) has emerged as an excellent solution for performing deep learning on different data owners without exchanging raw data. However, statistical heterogeneity in FL presents a key challenge, leading to a phenomenon of skewness in local model parameter distributions that researchers have largely overlooked. In this work, we propose the concept of parameter skew to describe the phenomenon that can substantially affect the accuracy of global model parameter estimation. Additionally, we introduce FedSA, an aggregation strategy to obtain a high-quality global model, to address the implication from parameter skew. Specifically, we categorize parameters into high-dispersion and low-dispersion groups based on the coefficient of variation. For high-dispersion parameters, Micro-Classes (MIC) and Macro-Classes (MAC) represent the dispersion at the micro and macro levels, respectively, forming the foundation of FedSA. To evaluate the effectiveness of FedSA, we conduct extensive experiments with different FL algorithms on three computer vision datasets. FedSA outperforms eight state-of-the-art baselines by about 4.7% in test accuracy.
• Abstract（参考訳）: フェデレートラーニング(FL)は、生データを交換することなく、異なるデータオーナでディープラーニングを実行するための優れたソリューションとして登場した。 しかし、FLにおける統計的不均一性は重要な課題であり、研究者がほとんど見落としてきた局所モデルパラメータ分布の歪み現象に繋がる。 本研究では,大域的モデルパラメータ推定の精度に大きく影響を与える現象を記述するために,パラメータスキューの概念を提案する。 さらに,パラメータスキューの影響に対処するため,高品質なグローバルモデルを得るためのアグリゲーション戦略であるFedSAを導入する。 具体的には,変動係数に基づいて,パラメータを高分散群と低分散群に分類する。 高分散パラメータでは、マイクロクラス(MIC)とマクロクラス(MAC)はそれぞれミクロレベルとマクロレベルの分散を表現し、FedSAの基礎を形成する。 FedSAの有効性を評価するため、3つのコンピュータビジョンデータセット上で異なるFLアルゴリズムを用いて広範囲な実験を行った。 FedSAは8つの最先端のベースラインを約4.7%上回っている。

関連論文リスト

• Enhancing Imbalance Learning: A Novel Slack-Factor Fuzzy SVM Approach [0.0]
  サポートベクターマシン(FSVM)は、様々なファジィメンバシップをサンプルに割り当てることで、クラス不均衡に対処する。 最近開発されたslack-factor-based FSVM(SFFSVM)は、slack Factorを使用して、誤分類可能性に基づいてファジィメンバシップを調整することで、従来のFSVMを改善している。 そこで我々は,新しい位置パラメータを導入する改良されたスラックファクターベースFSVM(ISFFSVM)を提案する。
  論文  参考訳（メタデータ） (2024-11-26T05:47:01Z)
• On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness [16.595935469099306]
  本稿では,乗算器の交互方向法(ADMM)を利用して,パーソナライズおよびグローバルモデルの学習を行う最適化フレームワークFLAMEを提案する。 我々の理論的解析は、軽度の仮定の下で、FLAMEのグローバル収束と2種類の収束速度を確立する。 実験の結果,FLAMEは収束と精度において最先端の手法より優れており,各種攻撃下では高い精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-07-23T11:35:42Z)
• Optimisation of federated learning settings under statistical heterogeneity variations [0.7801184127091986]
  フェデレートラーニング(FL)は、中央アグリゲータと定期的にモデルパラメータを共有することで、ローカルデバイスが共有予測モデルを協調的に学習することを可能にする。 本稿では,3つのデータセット上での様々な統計的不均一性について,異なるFLトレーニングパラメータとアグリゲータの実証分析を行った。 異なる特徴を持つデータセットに対する最良のFLモデルと鍵パラメータを実証的に同定する。
  論文  参考訳（メタデータ） (2024-06-10T15:01:03Z)
• Parametric Feature Transfer: One-shot Federated Learning with Foundation Models [14.97955440815159]
  ワンショットのフェデレーション学習では、クライアントは単一のコミュニケーションでグローバルモデルを協調的にトレーニングする。 本稿では,基礎モデルの転送可能性を利用してワンショットFLの精度と通信効率を向上させる手法であるFedPFTを紹介する。
  論文  参考訳（メタデータ） (2024-02-02T19:34:46Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• FedSSA: Semantic Similarity-based Aggregation for Efficient Model-Heterogeneous Personalized Federated Learning [40.827571502726805]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護と協調的な機械学習パラダイムである。 MHPFL(Model-Heterogeneous Personalized FL)がこの課題に対処するために登場した。 既存のMHPFLアプローチは、学習タスクと同じ性質の公開データセットに依存している場合や、高い計算と通信コストがかかる場合が多い。 教師付き分類タスクに対するFedSSA(Federated Semantic similarity Aggregation)アプローチを提案する。 FedSSAの精度は3.62%、通信効率は15.54倍、計算効率は7つの最先端のMHPFLベースラインに比べて15.52倍である。
  論文  参考訳（メタデータ） (2023-12-14T14:55:32Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Chasing Fairness Under Distribution Shift: A Model Weight Perturbation Approach [72.19525160912943]
  まず,分布シフト,データ摂動,モデルウェイト摂動の関連性を理論的に検証した。 次に、ターゲットデータセットの公平性を保証するのに十分な条件を分析します。 これらの十分な条件により、ロバストフェアネス正則化(RFR)を提案する。
  論文  参考訳（メタデータ） (2023-03-06T17:19:23Z)
• Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
  generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。 ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。 ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:23:37Z)
• Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
  本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。 我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。 これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
  論文  参考訳（メタデータ） (2020-08-08T03:02:27Z)
• Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
  量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。 上記のプロパティをすべて享受する既存のメソッドはありません。 本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
  論文  参考訳（メタデータ） (2020-02-25T15:12:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。