論文の概要: FedBiF: Communication-Efficient Federated Learning via Bits Freezing
- arxiv url: http://arxiv.org/abs/2509.10161v1
- Date: Fri, 12 Sep 2025 11:41:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-15 16:03:08.066294
- Title: FedBiF: Communication-Efficient Federated Learning via Bits Freezing
- Title（参考訳）: FedBiF: ビット凍結によるコミュニケーション効率の良いフェデレーション学習
- Authors: Shiwei Li, Qunwei Li, Haozhao Wang, Ruixuan Li, Jianbin Lin, Wenliang Zhong,
- Abstract要約: Federated Bit Freezing (FedBiF)は、ローカルトレーニング中に量子化されたモデルパラメータを直接学習する新しいFLフレームワークである。
FedBiFは優れた通信圧縮を実現し、結果のモデルの疎性も促進する。
- 参考スコア（独自算出の注目度）: 30.27100790578667
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is an emerging distributed machine learning paradigm that enables collaborative model training without sharing local data. Despite its advantages, FL suffers from substantial communication overhead, which can affect training efficiency. Recent efforts have mitigated this issue by quantizing model updates to reduce communication costs. However, most existing methods apply quantization only after local training, introducing quantization errors into the trained parameters and potentially degrading model accuracy. In this paper, we propose Federated Bit Freezing (FedBiF), a novel FL framework that directly learns quantized model parameters during local training. In each communication round, the server first quantizes the model parameters and transmits them to the clients. FedBiF then allows each client to update only a single bit of the multi-bit parameter representation, freezing the remaining bits. This bit-by-bit update strategy reduces each parameter update to one bit while maintaining high precision in parameter representation. Extensive experiments are conducted on five widely used datasets under both IID and Non-IID settings. The results demonstrate that FedBiF not only achieves superior communication compression but also promotes sparsity in the resulting models. Notably, FedBiF attains accuracy comparable to FedAvg, even when using only 1 bit-per-parameter (bpp) for uplink and 3 bpp for downlink communication. The code is available at https://github.com/Leopold1423/fedbif-tpds25.
- Abstract（参考訳）: Federated Learning(FL)は、ローカルデータを共有せずに協調的なモデルトレーニングを可能にする、新興の分散機械学習パラダイムである。
その利点にも拘わらず、FLは訓練効率に影響を及ぼすかなりの通信オーバーヘッドに悩まされている。
近年の取り組みは、通信コスト削減のためのモデル更新の定量化によってこの問題を緩和している。
しかし、既存のほとんどの手法は、局所的な訓練後にのみ量子化を適用し、訓練されたパラメータに量子化誤差を導入し、潜在的にモデルの精度を劣化させる。
本稿では,FedBiF(Federated Bit Freezing, FedBiF)を提案する。FedBiFは,局所学習において,量子化モデルパラメータを直接学習する新しいFLフレームワークである。
各通信ラウンドにおいて、サーバはまずモデルパラメータを定量化し、クライアントに送信する。
次にFedBiFは、各クライアントがマルチビットパラメータ表現の1ビットだけを更新し、残りのビットを凍結することを可能にする。
このビットバイビット更新戦略は、パラメータ表現の高精度を維持しながら、各パラメータ更新を1ビットに短縮する。
IIDと非IID設定の両方で広く使われている5つのデータセットに対して、広範囲にわたる実験が行われた。
以上の結果から,FedBiFは優れた通信圧縮を実現するだけでなく,モデル間の疎結合を促進することが示唆された。
特にFedBiFは、アップリンクに1ビット毎パラメータ(bpp)、ダウンリンク通信に3bppしか使用していない場合でも、FedAvgに匹敵する精度を実現している。
コードはhttps://github.com/Leopold1423/fedbif-tpds25で公開されている。
関連論文リスト
- Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models [54.02863371927658]
大規模言語モデル(LLM)は多くの現実世界のアプリケーションで必須となっている。
Ferretは、LLMのスケーラブルなフルパラメータチューニングを実現するために、ランダム性を共有する最初の一階法である。
フェレットは高い計算効率、通信オーバーヘッドの低減、高速収束を実現する。
論文 参考訳（メタデータ） (2024-09-10T07:28:13Z) - SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。
プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。
グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
論文 参考訳（メタデータ） (2024-06-01T13:10:35Z) - Parametric Feature Transfer: One-shot Federated Learning with Foundation
Models [14.97955440815159]
ワンショットのフェデレーション学習では、クライアントは単一のコミュニケーションでグローバルモデルを協調的にトレーニングする。
本稿では,基礎モデルの転送可能性を利用してワンショットFLの精度と通信効率を向上させる手法であるFedPFTを紹介する。
論文 参考訳（メタデータ） (2024-02-02T19:34:46Z) - ResFed: Communication Efficient Federated Learning by Transmitting Deep
Compressed Residuals [24.13593410107805]
フェデレートラーニングは、学習したローカルモデルパラメータを共有することで、大規模分散クライアント間の協調トレーニングを可能にする。
モデルパラメータではなく残差を訓練用ネットワークに送信する残差ベースフェデレーション学習フレームワーク(ResFed)を導入する。
共通予測ルールを用いることで、ローカルモデルとグローバルモデルの両方が、常にクライアントとサーバで完全に回復可能である。
論文 参考訳（メタデータ） (2022-12-11T20:34:52Z) - FiT: Parameter Efficient Few-shot Transfer Learning for Personalized and
Federated Image Classification [47.24770508263431]
画像分類における要件を満たすFiLM Transfer (FiT) を開発した。
FiTは、大規模な画像データセットで事前トレーニングされた固定バックボーンの上に、自動的に設定されたNaive Bayes分類器を使用する。
本研究では, 最先端のBig Transfer (BiT) アルゴリズムよりも, ローショット, 挑戦的なVTAB-1kベンチマークにおいて, 高い分類精度が得られることを示す。
論文 参考訳（メタデータ） (2022-06-17T10:17:20Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Fast Server Learning Rate Tuning for Coded Federated Dropout [3.9653673778225946]
Federated Dropout (FD) はFLセッションの通信効率を改善する技術である。
各クライアントで異なるサブモデルを使用することで、符号化理論を利用してFDを強化する。
EMNISTデータセットの場合、このメカニズムはドロップアウトケースの最終的な精度の99.6%を達成する。
論文 参考訳（メタデータ） (2022-01-26T16:19:04Z) - Communication-Efficient Federated Learning for Neural Machine
Translation [1.5362025549031046]
フェデレートラーニング(FL)設定におけるニューラルネットワーク翻訳(NMT)モデルの訓練は、計算的にも通信的にも非効率である可能性がある。
本稿では,新しいソリューションを提案することにより,FLセットアップでNMTモデルを効率的に構築する方法を検討する。
通信オーバーヘッドを低減するために、すべてのニューラルネットワーク層のうち、私たちが"コントローラ"層と呼ぶものだけを交換します。
論文 参考訳（メタデータ） (2021-12-12T03:16:03Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。