論文の概要: FedHQ: Hybrid Runtime Quantization for Federated Learning

• arxiv url: http://arxiv.org/abs/2505.11982v1
• Date: Sat, 17 May 2025 12:30:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.970524
• Title: FedHQ: Hybrid Runtime Quantization for Federated Learning
• Title（参考訳）: FedHQ: フェデレートラーニングのためのハイブリッドランタイム量子化
• Authors: Zihao Zheng, Ziyao Wang, Xiuping Cui, Maoliang Li, Jiayu Chen, Yun, Liang, Ang Li, Xiang Chen,
• Abstract要約: Federated Learning(FL)は、データプライバシを保存するが、効率の低い分散モデルトレーニングアプローチである。 本稿では,FLシステムにおけるPTQとQATを組み合わせたハイブリッド量子化手法を提案する。 実験の結果、FedHQはトレーニングアクセラレーションを最大2.47倍、精度を最大11.15%向上し、余分なオーバーヘッドを無視できることがわかった。
• 参考スコア（独自算出の注目度）: 18.039278211314205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) is a decentralized model training approach that preserves data privacy but struggles with low efficiency. Quantization, a powerful training optimization technique, has been widely explored for integration into FL. However, many studies fail to consider the distinct performance attribution between particular quantization strategies, such as post-training quantization (PTQ) or quantization-aware training (QAT). As a result, existing FL quantization methods rely solely on either PTQ or QAT, optimizing for speed or accuracy while compromising the other. To efficiently accelerate FL and maintain distributed convergence accuracy across various FL settings, this paper proposes a hybrid quantitation approach combining PTQ and QAT for FL systems. We conduct case studies to validate the effectiveness of using hybrid quantization in FL. To solve the difficulty of modeling speed and accuracy caused by device and data heterogeneity, we propose a hardware-related analysis and data-distribution-related analysis to help identify the trade-off boundaries for strategy selection. Based on these, we proposed a novel framework named FedHQ to automatically adopt optimal hybrid strategy allocation for FL systems. Specifically, FedHQ develops a coarse-grained global initialization and fine-grained ML-based adjustment to ensure efficiency and robustness. Experiments show that FedHQ achieves up to 2.47x times training acceleration and up to 11.15% accuracy improvement and negligible extra overhead.
• Abstract（参考訳）: Federated Learning(FL)は、データプライバシを保存するが、効率の低い分散モデルトレーニングアプローチである。 強力なトレーニング最適化技術である量子化は、FLに統合するために広く研究されている。 しかし、多くの研究は、ポストトレーニング量子化(PTQ)や量子化対応トレーニング(QAT)など、特定の量子化戦略間の異なるパフォーマンス属性を考慮しない。 その結果、既存のFL量子化法はPTQまたはQATにのみ依存し、一方を妥協しながら速度や精度を最適化する。 FLの高速化と様々なFL設定における分散収束精度を維持するため,本研究では,FLシステム用PTQとQATを組み合わせたハイブリッド量子化手法を提案する。 FLにおけるハイブリッド量子化の有効性を検証するためのケーススタディを行う。 デバイスとデータの不均一性によるモデリング速度と精度の難しさを解決するため,戦略選択のためのトレードオフ境界の同定を支援するハードウェア関連解析とデータ分散関連解析を提案する。 そこで我々は,FLシステムに最適なハイブリッド戦略アロケーションを自動適用するFedHQという新しいフレームワークを提案する。 特に、FedHQは、粗いグローバル初期化ときめ細かいMLベースの調整を開発し、効率性と堅牢性を確保する。 実験の結果、FedHQはトレーニングアクセラレーションを最大2.47倍、精度を最大11.15%向上し、余分なオーバーヘッドを無視できることがわかった。

関連論文リスト

• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• FedShift: Robust Federated Learning Aggregation Scheme in Resource Constrained Environment via Weight Shifting [5.680416078423551]
  フェデレートラーニング(FL)は通常、分散クライアント間のトレーニングを調整するために中央サーバーに依存します。 クライアントは、ハードウェアまたはネットワークの制約に基づいて異なる量子化レベルを使用し、サーバで混合精度の集約プロセスを必要とする。 本稿では,FLシナリオの性能劣化を定量化の混合レベルで緩和する新しいアグリゲーション手法であるFedShiftを提案する。
  論文  参考訳（メタデータ） (2024-02-02T00:03:51Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• FedAVO: Improving Communication Efficiency in Federated Learning with African Vultures Optimizer [0.0]
  Federated Learning (FL) は分散機械学習技術である。 本稿では,通信効率を向上させる新しいFLアルゴリズムであるFedAVOを紹介する。 我々はFedAVOがモデル精度と通信ラウンドにおいて大幅な改善を達成していることを示す。
  論文  参考訳（メタデータ） (2023-05-02T02:04:19Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
  有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
  論文  参考訳（メタデータ） (2022-07-19T16:37:24Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• Joint Optimization of Communications and Federated Learning Over the Air [32.14738452396869]
  Federated Learning(FL)は、データプライバシーを保護しながら、リッチな分散データを利用するための魅力的なパラダイムです。 本稿では,リアル無線ネットワークにおけるアナログアグリゲーション伝送に基づく通信とFLの協調最適化について検討する。
  論文  参考訳（メタデータ） (2021-04-08T03:38:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。