Fugu-MT 論文翻訳(概要): FedBCD:Communication-Efficient Accelerated Block Coordinate Gradient Descent for Federated Learning

論文の概要: FedBCD:Communication-Efficient Accelerated Block Coordinate Gradient Descent for Federated Learning

arxiv url: http://arxiv.org/abs/2603.05116v1
Date: Thu, 05 Mar 2026 12:37:17 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-06 22:06:11.223641
Title: FedBCD:Communication-Efficient Accelerated Block Coordinate Gradient Descent for Federated Learning
Title（参考訳）: FedBCD:フェデレーション学習のためのコミュニケーション効率のよいブロックコーディネート・グラディネート・ディフレッシュ
Authors: Junkang Liu, Fanhua Shang, Yuanyuan Liu, Hongying Liu, Yuangang Li, YunXiang Gong,
Abstract要約: 本稿では,FedBCGD(Federated Block Coordinate Gradient Descent)法を提案する。提案手法は、モデルパラメータを共有ブロックを含む複数のブロックに分割し、各クライアントが特定のパラメータブロックをアップロードできるようにする。また,クライアントドリフト制御と分散低減を併用した高速化されたFedBCGDアルゴリズム(FedBCGD+)を開発した。
参考スコア（独自算出の注目度）: 25.63068864881376
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Although Federated Learning has been widely studied in recent years, there are still high overhead expenses in each communication round for large-scale models such as Vision Transformer. To lower the communication complexity, we propose a novel Federated Block Coordinate Gradient Descent (FedBCGD) method for communication efficiency. The proposed method splits model parameters into several blocks, including a shared block and enables uploading a specific parameter block by each client, which can significantly reduce communication overhead. Moreover, we also develop an accelerated FedBCGD algorithm (called FedBCGD+) with client drift control and stochastic variance reduction. To the best of our knowledge, this paper is the first work on parameter block communication for training large-scale deep models. We also provide the convergence analysis for the proposed algorithms. Our theoretical results show that the communication complexities of our algorithms are a factor $1/N$ lower than those of existing methods, where $N$ is the number of parameter blocks, and they enjoy much faster convergence than their counterparts. Empirical results indicate the superiority of the proposed algorithms compared to state-of-the-art algorithms. The code is available at https://github.com/junkangLiu0/FedBCGD.
Abstract（参考訳）: フェデレーテッド・ラーニングは近年広く研究されているが、ビジョン・トランスフォーマーのような大規模モデルでは、各コミュニケーションラウンドのオーバヘッド費用が依然として高い。通信の複雑さを低減するために,新しいFedBCGD(Federated Block Coordinate Gradient Descent)法を提案する。提案手法は,モデルパラメータを共有ブロックを含む複数のブロックに分割し,クライアント毎に特定のパラメータブロックをアップロードすることで,通信オーバーヘッドを大幅に低減する。さらに,クライアントのドリフト制御と確率的分散低減を併用した高速化されたFedBCGDアルゴリズム(FedBCGD+)を開発した。本稿は,大規模深層モデルの学習のためのパラメータブロック通信に関する最初の研究である。また,提案アルゴリズムの収束解析について述べる。我々の理論的な結果は、我々のアルゴリズムの通信複雑度は、既存の手法よりも1/N$低く、$N$はパラメータブロックの数であり、それらよりもはるかに高速な収束を享受していることを示している。実験結果から,提案アルゴリズムが最先端アルゴリズムよりも優れていることを示す。コードはhttps://github.com/junkangLiu0/FedBCGDで入手できる。

関連論文リスト

ParaBlock: Communication-Computation Parallel Block Coordinate Federated Learning for Large Language Models [40.212217681834616]
ParaBlockは、通信効率を向上させるために、通信と計算のための2つの並列スレッドを確立する新しいアプローチである。提案するParaBlockは,標準結合ブロック座標降下法と同じ収束率が得られることを理論的に証明する。
論文参考訳（メタデータ） (2025-11-25T06:09:21Z)
Physics-Inspired Binary Neural Networks: Interpretable Compression with Theoretical Guarantees [20.854288216118423]
多くの逆問題では、自然に物理と空間を符号化するアルゴリズムアンロールネットワークが認められている。本研究では,データ駆動型1ビット量子化と単一グローバルスケールを組み合わせたPhysical-Inspired Binary Neural Network (PIBiNN)を提案する。この設計は、構造零点を利用することにより、重量あたり1ビット未満の圧縮率をもたらす。
論文参考訳（メタデータ） (2025-02-04T00:53:10Z)
Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文参考訳（メタデータ） (2024-10-09T06:17:16Z)
FedScalar: A Communication efficient Federated Learning [0.0]
フェデレーテッド・ラーニング(FL)は分散機械学習でかなりの人気を集めている。 emphFedScalarは、エージェントが単一のスカラーを使用して更新を通信することを可能にする。
論文参考訳（メタデータ） (2024-10-03T07:06:49Z)
Sparse Decentralized Federated Learning [35.32297764027417]
分散フェデレートラーニング(DFL)は、中央サーバーなしで協調的なモデルトレーニングを可能にするが、効率、安定性、信頼性の課題に直面している。 Sparse DFL (SDFL) に繋がる共有モデルに空間制約を導入し,新しいアルゴリズムCEPSを提案する。数値実験により,高い信頼性を維持しつつ,コミュニケーションと効率を向上させるための提案アルゴリズムの有効性が検証された。
論文参考訳（メタデータ） (2023-08-31T12:22:40Z)
Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文参考訳（メタデータ） (2022-10-14T01:42:05Z)
FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning [75.46959684676371]
我々は、クライアントからPSにヘッセン情報を送信する必要がないFedNewという新しいフレームワークを紹介した。 FedNewは勾配情報を隠蔽し、既存の最先端技術と比べてプライバシー保護のアプローチをもたらす。
論文参考訳（メタデータ） (2022-06-17T15:21:39Z)
BEER: Fast $O(1/T)$ Rate for Decentralized Nonconvex Optimization with Communication Compression [37.20712215269538]
コミュニケーション効率は大規模分散機械学習アプリケーションのボトルネックとして広く認識されている。本稿では,勾配追跡と通信を併用したBEERを提案し,より高速に収束することを示す。
論文参考訳（メタデータ） (2022-01-31T16:14:09Z)
AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization [159.75564904944707]
垂直連合学習(VFL)のための非同期準ニュートン(AsySQN)フレームワークを提案する。提案アルゴリズムは、逆ヘッセン行列を明示的に計算することなく、近似して降下ステップをスケールする。本稿では,非同期計算を採用することにより,計算資源の有効利用が期待できることを示す。
論文参考訳（メタデータ） (2021-09-26T07:56:10Z)
Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文参考訳（メタデータ） (2020-10-02T10:41:59Z)
Sparse Communication for Training Deep Networks [56.441077560085475]
同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
論文参考訳（メタデータ） (2020-09-19T17:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。