論文の概要: FedShift: Robust Federated Learning Aggregation Scheme in Resource Constrained Environment via Weight Shifting
- arxiv url: http://arxiv.org/abs/2402.01070v2
- Date: Tue, 18 Feb 2025 09:15:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-19 14:01:44.115829
- Title: FedShift: Robust Federated Learning Aggregation Scheme in Resource Constrained Environment via Weight Shifting
- Title（参考訳）: FedShift: リソース制約のある環境でのロバストなフェデレーション・アグリゲーション・スキーム
- Authors: Jungwon Seo, Minhoe Kim, Chunming Rong,
- Abstract要約: フェデレートラーニング(FL)は通常、分散クライアント間のトレーニングを調整するために中央サーバーに依存します。
クライアントは、ハードウェアまたはネットワークの制約に基づいて異なる量子化レベルを使用し、サーバで混合精度の集約プロセスを必要とする。
本稿では,FLシナリオの性能劣化を定量化の混合レベルで緩和する新しいアグリゲーション手法であるFedShiftを提案する。
- 参考スコア（独自算出の注目度）: 5.680416078423551
- License:
- Abstract: Federated Learning (FL) commonly relies on a central server to coordinate training across distributed clients. While effective, this paradigm suffers from significant communication overhead, impacting overall training efficiency. To mitigate this, prior work has explored compression techniques such as quantization. However, in heterogeneous FL settings, clients may employ different quantization levels based on their hardware or network constraints, necessitating a mixed-precision aggregation process at the server. This introduces additional challenges, exacerbating client drift and leading to performance degradation. In this work, we propose FedShift, a novel aggregation methodology designed to mitigate performance degradation in FL scenarios with mixed quantization levels. FedShift employs a statistical matching mechanism based on weight shifting to align mixed-precision models, thereby reducing model divergence and addressing quantization-induced bias. Our approach functions as an add-on to existing FL optimization algorithms, enhancing their robustness and improving convergence. Empirical results demonstrate that FedShift effectively mitigates the negative impact of mixed-precision aggregation, yielding superior performance across various FL benchmarks.
- Abstract（参考訳）: フェデレートラーニング(FL)は通常、分散クライアント間のトレーニングを調整するために中央サーバーに依存します。
効果はあるものの、このパラダイムはコミュニケーション上の大きなオーバーヘッドに悩まされ、訓練全体の効率に影響を与えます。
これを軽減するために、先行研究は量子化などの圧縮技術について検討してきた。
しかし、不均一なFL設定では、クライアントはハードウェアやネットワークの制約に基づいて異なる量子化レベルを使用し、サーバで混合精度の集約プロセスを必要とします。
これにより、クライアントのドリフトが悪化し、パフォーマンスが低下する。
本稿では,FLシナリオの性能劣化を定量化の混合レベルで緩和する新しいアグリゲーション手法であるFedShiftを提案する。
FedShiftは、重み付けに基づく統計的マッチング機構を用いて混合精度モデルを調整することにより、モデルのばらつきを低減し、量子化によるバイアスに対処する。
提案手法は,既存のFL最適化アルゴリズムのアドオンとして機能し,ロバスト性を高め,収束性を向上させる。
実験の結果,FedShiftは混合精度アグリゲーションの負の影響を効果的に軽減し,様々なFLベンチマークにおいて優れた性能を示した。
関連論文リスト
- Addressing Heterogeneity in Federated Learning: Challenges and Solutions for a Shared Production Environment [1.2499537119440245]
フェデレートラーニング(FL)は、分散データソース間で機械学習モデルをトレーニングするための有望なアプローチとして登場した。
本稿では、FLにおけるデータ不均一性について、製造の文脈で概観する。
本研究は,これらの異種性がモデルトレーニングに与える影響について考察し,その悪影響を緩和するための現在の手法を概観する。
論文 参考訳（メタデータ） (2024-08-18T17:49:44Z) - Navigating High-Degree Heterogeneity: Federated Learning in Aerial and Space Networks [8.766411351797885]
フェデレーション学習は、空と宇宙のネットワークにおけるネットワークとデータプライバシの課題に対して、魅力的なソリューションを提供する。
本稿では,ASNsに基づくフェデレーション学習の性能を低下させるクラス不均衡に対する不均一性の影響について検討する。
論文 参考訳（メタデータ） (2024-06-25T21:57:26Z) - Non-Federated Multi-Task Split Learning for Heterogeneous Sources [17.47679789733922]
異種データソースのマルチタスク学習を効率的に行うための新しいアーキテクチャと方法論を提案する。
MTSLは,サーバとクライアントの学習率を調整することで,高速収束を実現することができることを示す。
論文 参考訳（メタデータ） (2024-05-31T19:27:03Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳（メタデータ） (2024-01-25T09:18:51Z) - Multi-Task Model Personalization for Federated Supervised SVM in
Heterogeneous Networks [10.169907307499916]
フェデレーションシステムは、モデルパーソナライゼーションを通じて、高度に異質なデータの協調トレーニングを可能にする。
マルチタスク・フェデレーション・セッティングにおける多様な参加者の学習手順を高速化するためには、より効率的で堅牢な手法を開発する必要がある。
本稿では,支援ベクトルマシン(SVM)のための乗算器の交互方向法(ADMM)に基づく効率的な反復分散手法を設計する。
提案手法は、異種ノードのネットワークにおける効率的な計算とモデル交換を利用し、非i.d.データの存在下で学習モデルのパーソナライズを可能にする。
論文 参考訳（メタデータ） (2023-03-17T21:36:01Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳（メタデータ） (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。