論文の概要: FedWSQ: Efficient Federated Learning with Weight Standardization and Distribution-Aware Non-Uniform Quantization

• arxiv url: http://arxiv.org/abs/2506.23516v1
• Date: Mon, 30 Jun 2025 04:46:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.920582
• Title: FedWSQ: Efficient Federated Learning with Weight Standardization and Distribution-Aware Non-Uniform Quantization
• Title（参考訳）: FedWSQ: 軽量標準化と分散を考慮した非一様量子化による効率的なフェデレーション学習
• Authors: Seung-Wook Kim, Seongyeol Kim, Jiah Kim, Seowon Ji, Se-Ho Lee,
• Abstract要約: フェデレートラーニング(FL)は、データ不均一性や通信制約といった重要な課題により、しばしばパフォーマンス劣化に悩まされる。 We present a novel FL framework called FedWSQ, which integrates weight standardization (WS) and the proposed distribution-aware non-uniform Quantization (DANUQ)。
• 参考スコア（独自算出の注目度）: 4.487640233047808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) often suffers from performance degradation due to key challenges such as data heterogeneity and communication constraints. To address these limitations, we present a novel FL framework called FedWSQ, which integrates weight standardization (WS) and the proposed distribution-aware non-uniform quantization (DANUQ). WS enhances FL performance by filtering out biased components in local updates during training, thereby improving the robustness of the model against data heterogeneity and unstable client participation. In addition, DANUQ minimizes quantization errors by leveraging the statistical properties of local model updates. As a result, FedWSQ significantly reduces communication overhead while maintaining superior model accuracy. Extensive experiments on FL benchmark datasets demonstrate that FedWSQ consistently outperforms existing FL methods across various challenging FL settings, including extreme data heterogeneity and ultra-low-bit communication scenarios.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データ不均一性や通信制約といった重要な課題により、しばしばパフォーマンス劣化に悩まされる。 これらの制約に対処するため、重み付け標準化(WS)と分布対応非一様量子化(DANUQ)を統合したFedWSQという新しいFLフレームワークを提案する。 WSはトレーニング中のローカルアップデートでバイアスのあるコンポーネントをフィルタリングすることでFLパフォーマンスを強化し、データの不均一性と不安定なクライアント参加に対するモデルの堅牢性を改善します。 さらに、DANUQは局所的なモデル更新の統計特性を利用して量子化誤差を最小化する。 その結果、FedWSQは、優れたモデル精度を維持しながら、通信オーバーヘッドを著しく削減する。 FLベンチマークデータセットの大規模な実験により、FedWSQは、極度のデータ不均一性や超低ビット通信シナリオなど、さまざまな挑戦的なFL設定において、既存のFLメソッドを一貫して上回ります。

関連論文リスト

• Shift Happens: Mixture of Experts based Continual Adaptation in Federated Learning [3.120955853908236]
  フェデレートラーニング(FL)は、生データを共有することなく、分散クライアント間で協調的なモデルトレーニングを可能にする。 我々は,検出された分散シフトに応じて,特殊なグローバルモデルを作成し,訓練する専門家フレームワークのシフト対応ミックスであるShiftExを紹介する。 本研究では,5.5-12.9ポイントの精度向上と22-95%の適応率を示す。
  論文  参考訳（メタデータ） (2025-06-23T15:59:21Z)
• FlexFed: Mitigating Catastrophic Forgetting in Heterogeneous Federated Learning in Pervasive Computing Environments [4.358456799125694]
  広汎なコンピューティング環境(例えばヒューマンアクティビティ認識、HAR)は、リソース制約されたエンドデバイス、ストリーミングセンサーデータ、断続的なクライアント参加によって特徴づけられる。 我々は,効率的なメモリ使用のためにデータ保持を優先し,オフライントレーニング頻度を動的に調整する新しいFLアプローチFlexFedを提案する。 また、ストリーミングデータ、動的分散、不均衡、可用性の変動をシミュレートする現実的なHARベースの評価フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-05-19T14:23:37Z)
• Client Contribution Normalization for Enhanced Federated Learning [4.726250115737579]
  スマートフォンやラップトップを含むモバイルデバイスは、分散化された異種データを生成する。 フェデレートラーニング(FL)は、データ共有のない分散デバイス間でグローバルモデルの協調トレーニングを可能にすることで、有望な代替手段を提供する。 本稿では、FLにおけるデータ依存的不均一性に着目し、局所的に訓練されたモデルから抽出された平均潜在表現を活用する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-10T04:03:09Z)
• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• FedHPL: Efficient Heterogeneous Federated Learning with Prompt Tuning and Logit Distillation [32.305134875959226]
  フェデレートラーニング(FL)は、分散クライアントが中央サーバーでモデルを協調訓練できるプライバシー保護パラダイムである。 我々はパラメータ効率の高い$textbfFed$erated Learning framework for $textbfH$eterogeneous settingsを提案する。 我々のフレームワークは最先端のFLアプローチより優れており、オーバーヘッドもトレーニングラウンドも少なくなっている。
  論文  参考訳（メタデータ） (2024-05-27T15:25:32Z)
• FedShift: Robust Federated Learning Aggregation Scheme in Resource Constrained Environment via Weight Shifting [5.680416078423551]
  フェデレートラーニング(FL)は通常、分散クライアント間のトレーニングを調整するために中央サーバーに依存します。 クライアントは、ハードウェアまたはネットワークの制約に基づいて異なる量子化レベルを使用し、サーバで混合精度の集約プロセスを必要とする。 本稿では,FLシナリオの性能劣化を定量化の混合レベルで緩和する新しいアグリゲーション手法であるFedShiftを提案する。
  論文  参考訳（メタデータ） (2024-02-02T00:03:51Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Feature Quantization Improves GAN Training [126.02828112121874]
  識別器の特徴量子化(FQ)は、真と偽のデータの両方を共有離散空間に埋め込む。 本手法は,既存のGANモデルに容易に接続でき,訓練における計算オーバーヘッドがほとんどない。
  論文  参考訳（メタデータ） (2020-04-05T04:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。