論文の概要: Gradient Projection onto Historical Descent Directions for Communication-Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2511.05593v1
• Date: Wed, 05 Nov 2025 13:11:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.479536
• Title: Gradient Projection onto Historical Descent Directions for Communication-Efficient Federated Learning
• Title（参考訳）: コミュニケーション効率の良いフェデレーションラーニングのための歴史ディフレクションへのグラディエント投影
• Authors: Arnaud Descours, Léonard Deroose, Jan Ramon,
• Abstract要約: フェデレートラーニング(FL)は、データのプライバシを保持しながら、複数のクライアントにわたる分散モデルトレーニングを可能にする。 本稿では、非バイアス圧縮機用に設計されたProjFLと、エラーフィードバック機構によるバイアス圧縮機のためのProjFL+EFの2つのアルゴリズムを紹介する。
• 参考スコア（独自算出の注目度）: 0.8220217498103312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) enables decentralized model training across multiple clients while optionally preserving data privacy. However, communication efficiency remains a critical bottleneck, particularly for large-scale models. In this work, we introduce two complementary algorithms: ProjFL, designed for unbiased compressors, and ProjFL+EF, tailored for biased compressors through an Error Feedback mechanism. Both methods rely on projecting local gradients onto a shared client-server subspace spanned by historical descent directions, enabling efficient information exchange with minimal communication overhead. We establish convergence guarantees for both algorithms under strongly convex, convex, and non-convex settings. Empirical evaluations on standard FL classification benchmarks with deep neural networks show that ProjFL and ProjFL+EF achieve accuracy comparable to existing baselines while substantially reducing communication costs.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシを任意に保持しながら、複数のクライアントにわたる分散モデルトレーニングを可能にする。 しかし、特に大規模モデルでは、通信効率が重要なボトルネックとなっている。 本稿では,非バイアス圧縮機用に設計されたProjFLと,エラーフィードバック機構によりバイアス圧縮機用に調整されたProjFL+EFの2つの補完アルゴリズムを紹介する。 どちらの手法も、通信オーバーヘッドが最小限である効率的な情報交換を可能にするために、履歴降下方向によって区切られた共有クライアントサーバサブスペースに局所的な勾配を投影することに依存している。 我々は,強い凸,凸,非凸条件下での両アルゴリズムの収束保証を確立する。 ディープニューラルネットワークを用いた標準FL分類ベンチマークの実証評価は、ProjFLとProjFL+EFが既存のベースラインに匹敵する精度を達成し、通信コストを大幅に削減していることを示している。

関連論文リスト

• CO-PFL: Contribution-Oriented Personalized Federated Learning for Heterogeneous Networks [51.43780477302533]
  コントリビューション指向型PFL(CO-PFL)は,グローバルアグリゲーションに対する各クライアントのコントリビューションを動的に推定するアルゴリズムである。 CO-PFLは、パーソナライズ精度、堅牢性、スケーラビリティ、収束安定性において、最先端の手法を一貫して超越している。
  論文  参考訳（メタデータ） (2025-10-23T05:10:06Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets [25.010661914466354]
  実連合学習(FL)システムでは、クライアントとパラメータ(PS)の間でモデルパラメータを渡す際の通信オーバーヘッドがボトルネックとなることが多い。 そこで本研究では,SFL(Sequence FL) HFLを初めて提案し,各サーバに隣接する2つのES間でデータを渡すことで,中央PSを除去し,モデルを完成させることを可能にする。
  論文  参考訳（メタデータ） (2024-08-19T07:43:35Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。 グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Decentralized Directed Collaboration for Personalized Federated Learning [39.29794569421094]
  我々は分散トレーニングモデル計算を行う分散パーソナライズドラーニング(DPFL)に集中する。 我々は, textbfDecentralized textbfFederated textbfPartial textbfGradient textbfPedGP を組み込んだ協調型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-28T06:52:19Z)
• CG-FedLLM: How to Compress Gradients in Federated Fune-tuning for Large Language Models [21.919883617413358]
  本研究では,Large-Language Models (LLMs) における通信効率向上のための圧縮勾配の革新的手法を提案する。 また、このプライバシー中心のフレームワークにおける信号対雑音比、圧縮率、ロバスト性に着目した一連の実験分析を行った。
  論文  参考訳（メタデータ） (2024-05-22T15:32:38Z)
• FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [52.13056951033747]
  フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。 FLにおける重要なボトルネックは通信コストです。 我々の研究は、FLにおける通信複雑性の低減を推進した革新的なScaffnewアルゴリズムにインスパイアされている。 我々はFedComLocを導入し、実用的で効果的な圧縮をScaffnewに統合し、通信効率をさらに高める。
  論文  参考訳（メタデータ） (2024-03-14T22:29:59Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization [21.81192774458227]
  主なボトルネックの1つは、中央サーバとローカルワーカーの間の通信コストが大きいことである。 提案する分散学習フレームワークは,効果的な勾配勾配圧縮戦略を特徴とする。
  論文  参考訳（メタデータ） (2021-11-01T04:54:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。