論文の概要: FedHQ: Hybrid Runtime Quantization for Federated Learning

• arxiv url: http://arxiv.org/abs/2505.11982v1
• Date: Sat, 17 May 2025 12:30:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.970524
• Title: FedHQ: Hybrid Runtime Quantization for Federated Learning
• Title（参考訳）: FedHQ: フェデレートラーニングのためのハイブリッドランタイム量子化
• Authors: Zihao Zheng, Ziyao Wang, Xiuping Cui, Maoliang Li, Jiayu Chen, Yun, Liang, Ang Li, Xiang Chen,
• Abstract要約: Federated Learning(FL)は、データプライバシを保存するが、効率の低い分散モデルトレーニングアプローチである。 本稿では,FLシステムにおけるPTQとQATを組み合わせたハイブリッド量子化手法を提案する。 実験の結果、FedHQはトレーニングアクセラレーションを最大2.47倍、精度を最大11.15%向上し、余分なオーバーヘッドを無視できることがわかった。
• 参考スコア（独自算出の注目度）: 18.039278211314205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) is a decentralized model training approach that preserves data privacy but struggles with low efficiency. Quantization, a powerful training optimization technique, has been widely explored for integration into FL. However, many studies fail to consider the distinct performance attribution between particular quantization strategies, such as post-training quantization (PTQ) or quantization-aware training (QAT). As a result, existing FL quantization methods rely solely on either PTQ or QAT, optimizing for speed or accuracy while compromising the other. To efficiently accelerate FL and maintain distributed convergence accuracy across various FL settings, this paper proposes a hybrid quantitation approach combining PTQ and QAT for FL systems. We conduct case studies to validate the effectiveness of using hybrid quantization in FL. To solve the difficulty of modeling speed and accuracy caused by device and data heterogeneity, we propose a hardware-related analysis and data-distribution-related analysis to help identify the trade-off boundaries for strategy selection. Based on these, we proposed a novel framework named FedHQ to automatically adopt optimal hybrid strategy allocation for FL systems. Specifically, FedHQ develops a coarse-grained global initialization and fine-grained ML-based adjustment to ensure efficiency and robustness. Experiments show that FedHQ achieves up to 2.47x times training acceleration and up to 11.15% accuracy improvement and negligible extra overhead.
• Abstract（参考訳）: Federated Learning(FL)は、データプライバシを保存するが、効率の低い分散モデルトレーニングアプローチである。 強力なトレーニング最適化技術である量子化は、FLに統合するために広く研究されている。 しかし、多くの研究は、ポストトレーニング量子化(PTQ)や量子化対応トレーニング(QAT)など、特定の量子化戦略間の異なるパフォーマンス属性を考慮しない。 その結果、既存のFL量子化法はPTQまたはQATにのみ依存し、一方を妥協しながら速度や精度を最適化する。 FLの高速化と様々なFL設定における分散収束精度を維持するため,本研究では,FLシステム用PTQとQATを組み合わせたハイブリッド量子化手法を提案する。 FLにおけるハイブリッド量子化の有効性を検証するためのケーススタディを行う。 デバイスとデータの不均一性によるモデリング速度と精度の難しさを解決するため,戦略選択のためのトレードオフ境界の同定を支援するハードウェア関連解析とデータ分散関連解析を提案する。 そこで我々は,FLシステムに最適なハイブリッド戦略アロケーションを自動適用するFedHQという新しいフレームワークを提案する。 特に、FedHQは、粗いグローバル初期化ときめ細かいMLベースの調整を開発し、効率性と堅牢性を確保する。 実験の結果、FedHQはトレーニングアクセラレーションを最大2.47倍、精度を最大11.15%向上し、余分なオーバーヘッドを無視できることがわかった。

関連論文リスト

• FedShift: Robust Federated Learning Aggregation Scheme in Resource Constrained Environment via Weight Shifting [5.680416078423551]
  フェデレートラーニング(FL)は通常、分散クライアント間のトレーニングを調整するために中央サーバーに依存します。 クライアントは、ハードウェアまたはネットワークの制約に基づいて異なる量子化レベルを使用し、サーバで混合精度の集約プロセスを必要とする。 本稿では,FLシナリオの性能劣化を定量化の混合レベルで緩和する新しいアグリゲーション手法であるFedShiftを提案する。
  論文  参考訳（メタデータ） (2024-02-02T00:03:51Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
  有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
  論文  参考訳（メタデータ） (2022-07-19T16:37:24Z)
• Joint Optimization of Communications and Federated Learning Over the Air [32.14738452396869]
  Federated Learning(FL)は、データプライバシーを保護しながら、リッチな分散データを利用するための魅力的なパラダイムです。 本稿では,リアル無線ネットワークにおけるアナログアグリゲーション伝送に基づく通信とFLの協調最適化について検討する。
  論文  参考訳（メタデータ） (2021-04-08T03:38:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。