論文の概要: FedShift: Robust Federated Learning Aggregation Scheme in Resource Constrained Environment via Weight Shifting

• arxiv url: http://arxiv.org/abs/2402.01070v2
• Date: Tue, 18 Feb 2025 09:15:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 20:12:08.411221
• Title: FedShift: Robust Federated Learning Aggregation Scheme in Resource Constrained Environment via Weight Shifting
• Title（参考訳）: FedShift: リソース制約のある環境でのロバストなフェデレーション・アグリゲーション・スキーム
• Authors: Jungwon Seo, Minhoe Kim, Chunming Rong,
• Abstract要約: フェデレートラーニング(FL)は通常、分散クライアント間のトレーニングを調整するために中央サーバーに依存します。 クライアントは、ハードウェアまたはネットワークの制約に基づいて異なる量子化レベルを使用し、サーバで混合精度の集約プロセスを必要とする。 本稿では,FLシナリオの性能劣化を定量化の混合レベルで緩和する新しいアグリゲーション手法であるFedShiftを提案する。
• 参考スコア（独自算出の注目度）: 5.680416078423551
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) commonly relies on a central server to coordinate training across distributed clients. While effective, this paradigm suffers from significant communication overhead, impacting overall training efficiency. To mitigate this, prior work has explored compression techniques such as quantization. However, in heterogeneous FL settings, clients may employ different quantization levels based on their hardware or network constraints, necessitating a mixed-precision aggregation process at the server. This introduces additional challenges, exacerbating client drift and leading to performance degradation. In this work, we propose FedShift, a novel aggregation methodology designed to mitigate performance degradation in FL scenarios with mixed quantization levels. FedShift employs a statistical matching mechanism based on weight shifting to align mixed-precision models, thereby reducing model divergence and addressing quantization-induced bias. Our approach functions as an add-on to existing FL optimization algorithms, enhancing their robustness and improving convergence. Empirical results demonstrate that FedShift effectively mitigates the negative impact of mixed-precision aggregation, yielding superior performance across various FL benchmarks.
• Abstract（参考訳）: フェデレートラーニング(FL)は通常、分散クライアント間のトレーニングを調整するために中央サーバーに依存します。 効果はあるものの、このパラダイムはコミュニケーション上の大きなオーバーヘッドに悩まされ、訓練全体の効率に影響を与えます。 これを軽減するために、先行研究は量子化などの圧縮技術について検討してきた。 しかし、不均一なFL設定では、クライアントはハードウェアやネットワークの制約に基づいて異なる量子化レベルを使用し、サーバで混合精度の集約プロセスを必要とします。 これにより、クライアントのドリフトが悪化し、パフォーマンスが低下する。 本稿では,FLシナリオの性能劣化を定量化の混合レベルで緩和する新しいアグリゲーション手法であるFedShiftを提案する。 FedShiftは、重み付けに基づく統計的マッチング機構を用いて混合精度モデルを調整することにより、モデルのばらつきを低減し、量子化によるバイアスに対処する。 提案手法は,既存のFL最適化アルゴリズムのアドオンとして機能し,ロバスト性を高め,収束性を向上させる。 実験の結果,FedShiftは混合精度アグリゲーションの負の影響を効果的に軽減し,様々なFLベンチマークにおいて優れた性能を示した。

関連論文リスト

• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Addressing Heterogeneity in Federated Learning: Challenges and Solutions for a Shared Production Environment [1.2499537119440245]
  フェデレートラーニング(FL)は、分散データソース間で機械学習モデルをトレーニングするための有望なアプローチとして登場した。 本稿では、FLにおけるデータ不均一性について、製造の文脈で概観する。 本研究は,これらの異種性がモデルトレーニングに与える影響について考察し,その悪影響を緩和するための現在の手法を概観する。
  論文  参考訳（メタデータ） (2024-08-18T17:49:44Z)
• Navigating High-Degree Heterogeneity: Federated Learning in Aerial and Space Networks [8.766411351797885]
  フェデレーション学習は、空と宇宙のネットワークにおけるネットワークとデータプライバシの課題に対して、魅力的なソリューションを提供する。 本稿では,ASNsに基づくフェデレーション学習の性能を低下させるクラス不均衡に対する不均一性の影響について検討する。
  論文  参考訳（メタデータ） (2024-06-25T21:57:26Z)
• Non-Federated Multi-Task Split Learning for Heterogeneous Sources [17.47679789733922]
  異種データソースのマルチタスク学習を効率的に行うための新しいアーキテクチャと方法論を提案する。 MTSLは,サーバとクライアントの学習率を調整することで,高速収束を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-05-31T19:27:03Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
  異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。 まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。 次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。 第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-18T05:18:17Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Multi-Task Model Personalization for Federated Supervised SVM in Heterogeneous Networks [10.169907307499916]
  フェデレーションシステムは、モデルパーソナライゼーションを通じて、高度に異質なデータの協調トレーニングを可能にする。 マルチタスク・フェデレーション・セッティングにおける多様な参加者の学習手順を高速化するためには、より効率的で堅牢な手法を開発する必要がある。 本稿では,支援ベクトルマシン(SVM)のための乗算器の交互方向法(ADMM)に基づく効率的な反復分散手法を設計する。 提案手法は、異種ノードのネットワークにおける効率的な計算とモデル交換を利用し、非i.d.データの存在下で学習モデルのパーソナライズを可能にする。
  論文  参考訳（メタデータ） (2023-03-17T21:36:01Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• AdaBest: Minimizing Client Drift in Federated Learning via Adaptive Bias Estimation [12.62716075696359]
  フェデレートラーニング(FL)では、多くのクライアントやデバイスが協力して、データを共有せずにモデルをトレーニングします。 このドリフトを推定・除去するために、近年FL最適化に分散低減技術が組み込まれている。 本稿では,クライアント間のドリフトを正確に推定する適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-27T20:04:24Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Optimizing the Communication-Accuracy Trade-off in Federated Learning with Rate-Distortion Theory [1.5771347525430772]
  連合学習における重要なボトルネックは、クライアントデバイスから中央サーバにモデル更新を送信する際のネットワーク通信コストである。 本手法は,その経験的分布を考慮し,量子化された更新を適切な普遍コードで符号化する。 量子化は誤差をもたらすので、平均的な全勾配と歪みにおける所望のトレードオフを最適化することで量子化レベルを選択する。
  論文  参考訳（メタデータ） (2022-01-07T20:17:33Z)
• 1-Bit Compressive Sensing for Efficient Federated Learning Over the Air [32.14738452396869]
  本稿では,1ビットセンシング(CS)をアナログアグリゲーション送信に組み込んだ,空気上の通信効率の高い学習手法を開発し,解析する。 スケーラブルコンピューティングでは,大規模ネットワークに適した効率的な実装を開発する。 シミュレーションの結果,提案した1ビットCSベースのFLは理想的な場合と同等の性能を示した。
  論文  参考訳（メタデータ） (2021-03-30T03:50:31Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。