論文の概要: FedShift: Tackling Dual Heterogeneity Problem of Federated Learning via
Weight Shift Aggregation
- arxiv url: http://arxiv.org/abs/2402.01070v1
- Date: Fri, 2 Feb 2024 00:03:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 17:29:55.368252
- Title: FedShift: Tackling Dual Heterogeneity Problem of Federated Learning via
Weight Shift Aggregation
- Title（参考訳）: FedShift: 重み付け集約によるフェデレーション学習の二重不均一性問題に対処する
- Authors: Jungwon Seo, Chunming Rong, Minhoe Kim
- Abstract要約: Federated Learning(FL)は、データプライバシの保護に重点を置いて、マシンラーニングモデルをトレーニングするための魅力的な方法を提供する。
FLにおいて認識された課題であるシステム不均一性と統計的不均一性の存在は、クライアントハードウェア、ネットワーク、データセット分布の多様性から生じる。
本稿では,2つのヘテロジニアスシナリオにおいて,トレーニング速度とモデルの精度を両立させる新しいアルゴリズムであるFedShiftを紹介する。
- 参考スコア（独自算出の注目度）: 6.3842184099869295
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) offers a compelling method for training machine
learning models with a focus on preserving data privacy. The presence of system
heterogeneity and statistical heterogeneity, recognized challenges in FL,
arises from the diversity of client hardware, network, and dataset
distribution. This diversity can critically affect the training pace and the
performance of models. While many studies address either system or statistical
heterogeneity by introducing communication-efficient or stable convergence
algorithms, addressing these challenges in isolation often leads to compromises
due to unaddressed heterogeneity. In response, this paper introduces FedShift,
a novel algorithm designed to enhance both the training speed and the models'
accuracy in a dual heterogeneity scenario. Our solution can improve client
engagement through quantization and mitigate the adverse effects on performance
typically associated with quantization by employing a shifting technique. This
technique has proven to enhance accuracy by an average of 3.9% in diverse
heterogeneity environments.
- Abstract（参考訳）: Federated Learning (FL)は、データプライバシの保護に重点を置いた機械学習モデルをトレーニングするための魅力的な方法を提供する。
FLにおいて認識された課題であるシステム不均一性と統計的不均一性の存在は、クライアントハードウェア、ネットワーク、データセット分布の多様性から生じる。
この多様性は、モデルのトレーニングペースとパフォーマンスに重大な影響を与えます。
多くの研究は、通信効率または安定収束アルゴリズムを導入することによって、システムまたは統計的不均一性に対処するが、これらの課題を分離することで、不規則な不均一性による妥協につながることが多い。
そこで本研究では,2つの異種性シナリオにおけるトレーニング速度とモデルの精度を両立させる新しいアルゴリズムであるFedShiftを紹介する。
このソリューションは、量子化によってクライアントのエンゲージメントを向上させることができ、シフト技術を用いることで、量子化に伴うパフォーマンスの悪影響を軽減できる。
この手法は様々な異種環境において平均3.9%の精度で精度を高めることが証明されている。
関連論文リスト
- Addressing Heterogeneity in Federated Learning: Challenges and Solutions for a Shared Production Environment [1.2499537119440245]
フェデレートラーニング(FL)は、分散データソース間で機械学習モデルをトレーニングするための有望なアプローチとして登場した。
本稿では、FLにおけるデータ不均一性について、製造の文脈で概観する。
本研究は,これらの異種性がモデルトレーニングに与える影響について考察し,その悪影響を緩和するための現在の手法を概観する。
論文 参考訳（メタデータ） (2024-08-18T17:49:44Z) - Navigating High-Degree Heterogeneity: Federated Learning in Aerial and Space Networks [8.766411351797885]
フェデレーション学習は、空と宇宙のネットワークにおけるネットワークとデータプライバシの課題に対して、魅力的なソリューションを提供する。
本稿では,ASNsに基づくフェデレーション学習の性能を低下させるクラス不均衡に対する不均一性の影響について検討する。
論文 参考訳（メタデータ） (2024-06-25T21:57:26Z) - Non-Federated Multi-Task Split Learning for Heterogeneous Sources [17.47679789733922]
異種データソースのマルチタスク学習を効率的に行うための新しいアーキテクチャと方法論を提案する。
MTSLは,サーバとクライアントの学習率を調整することで,高速収束を実現することができることを示す。
論文 参考訳（メタデータ） (2024-05-31T19:27:03Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳（メタデータ） (2024-01-25T09:18:51Z) - Multi-Task Model Personalization for Federated Supervised SVM in
Heterogeneous Networks [10.169907307499916]
フェデレーションシステムは、モデルパーソナライゼーションを通じて、高度に異質なデータの協調トレーニングを可能にする。
マルチタスク・フェデレーション・セッティングにおける多様な参加者の学習手順を高速化するためには、より効率的で堅牢な手法を開発する必要がある。
本稿では,支援ベクトルマシン(SVM)のための乗算器の交互方向法(ADMM)に基づく効率的な反復分散手法を設計する。
提案手法は、異種ノードのネットワークにおける効率的な計算とモデル交換を利用し、非i.d.データの存在下で学習モデルのパーソナライズを可能にする。
論文 参考訳（メタデータ） (2023-03-17T21:36:01Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳（メタデータ） (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。