論文の概要: FedSGM: A Unified Framework for Constraint Aware, Bidirectionally Compressed, Multi-Step Federated Optimization
- arxiv url: http://arxiv.org/abs/2601.16897v1
- Date: Fri, 23 Jan 2026 17:03:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-26 14:27:27.773255
- Title: FedSGM: A Unified Framework for Constraint Aware, Bidirectionally Compressed, Multi-Step Federated Optimization
- Title(参考訳): FedSGM: 制約認識、双方向圧縮、マルチステップフェデレーション最適化のための統一フレームワーク
- Authors: Antesh Upadhyay, Sang Bin Moon, Abolfazl Hashemi,
- Abstract要約: 我々はフェデレートされた制約付き最適化のための統合フレームワークであるFedSGMを紹介する。
FedSGMは、フェデレートラーニング(FL)における4つの大きな課題に対処している。
私たちの知る限り、FedSGMは機能的制約、圧縮、複数のローカルアップデート、部分的なクライアント参加を統一する最初のフレームワークです。
- 参考スコア(独自算出の注目度): 7.692336118507715
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce FedSGM, a unified framework for federated constrained optimization that addresses four major challenges in federated learning (FL): functional constraints, communication bottlenecks, local updates, and partial client participation. Building on the switching gradient method, FedSGM provides projection-free, primal-only updates, avoiding expensive dual-variable tuning or inner solvers. To handle communication limits, FedSGM incorporates bi-directional error feedback, correcting the bias introduced by compression while explicitly understanding the interaction between compression noise and multi-step local updates. We derive convergence guarantees showing that the averaged iterate achieves the canonical $\boldsymbol{\mathcal{O}}(1/\sqrt{T})$ rate, with additional high-probability bounds that decouple optimization progress from sampling noise due to partial participation. Additionally, we introduce a soft switching version of FedSGM to stabilize updates near the feasibility boundary. To our knowledge, FedSGM is the first framework to unify functional constraints, compression, multiple local updates, and partial client participation, establishing a theoretically grounded foundation for constrained federated learning. Finally, we validate the theoretical guarantees of FedSGM via experimentation on Neyman-Pearson classification and constrained Markov decision process (CMDP) tasks.
- Abstract(参考訳): 我々は、フェデレートされた制約付き最適化のための統合フレームワークであるFedSGMを紹介し、フェデレートされた学習(FL)における4つの大きな課題に対処する:機能的制約、通信ボトルネック、ローカルアップデート、部分的クライアント参加。
スイッチング勾配法に基づいて、FedSGMはプロジェクションフリーでプリミティブのみの更新を提供し、高価な2変数チューニングやインナーソルバを避ける。
通信制限に対処するため、FedSGMは双方向のエラーフィードバックを導入し、圧縮ノイズとマルチステップローカル更新の間の相互作用を明確に理解しながら、圧縮によって導入されたバイアスを補正する。
平均イテレートが標準の $\boldsymbol{\mathcal{O}}(1/\sqrt{T})$ rate を達成することを示す収束保証を導出する。
また,フェーザビリティ境界付近の更新を安定させるため,FedSGMのソフトスイッチング版を導入する。
私たちの知る限り、FedSGMは機能的制約、圧縮、複数のローカルアップデート、部分的なクライアント参加を統一する最初のフレームワークであり、制約付きフェデレーション学習の理論的基盤を確立します。
最後に、Neyman-Pearson分類および制約付きマルコフ決定プロセス(CMDP)タスクの実験を通して、FedSGMの理論的保証を検証する。
関連論文リスト
- CoCo-Fed: A Unified Framework for Memory- and Communication-Efficient Federated Learning at the Wireless Edge [50.42067935605982]
ローカルメモリの効率とグローバル通信の削減を両立させる新しい圧縮・結合型学習フレームワークを提案する。
CoCo-Fedは、メモリと通信効率の両方において最先端のベースラインを著しく上回り、非IID設定下では堅牢な収束を維持している。
論文 参考訳(メタデータ) (2026-01-02T03:39:50Z) - Communication Compression for Distributed Learning with Aggregate and Server-Guided Feedback [43.69787537805927]
分散学習、特にフェデレートラーニング(FL)は、通信コストにおいて重大なボトルネックに直面します。
本稿ではクライアント側の状態や制御変数を使わずにバイアス圧縮を可能にする2つの新しいフレームワークを提案する。
FLシナリオにおける実験結果は、我々のアプローチを検証する。
論文 参考訳(メタデータ) (2025-12-27T15:29:42Z) - FedSparQ: Adaptive Sparse Quantization with Error Feedback for Robust & Efficient Federated Learning [7.461859467262201]
フェデレートラーニング(FL)は、分散クライアント間の協調モデルトレーニングを可能にする。
FLは、制約されたネットワーク上での高次元モデル更新の頻繁な交換による通信オーバーヘッドに悩まされる。
本稿では,各クライアントの勾配を動的に分散する軽量圧縮フレームワークであるFedSparQを紹介する。
論文 参考訳(メタデータ) (2025-11-05T12:38:08Z) - Mitigating Catastrophic Forgetting with Adaptive Transformer Block Expansion in Federated Fine-Tuning [25.121545962121907]
大規模言語モデル(LLM)のFedFT(Federated Fine-tuning)は、分散データ環境にモデルを適用するための有望なソリューションとして登場した。
適応型トランスフォーマーブロック拡張機構と動的トレーニング可能なブロック割り当て戦略を統合した新しいFedFTフレームワークであるFedBEを提案する。
その結果、FedBEは、下流タスクの精度を劣化させることなく、微調整後の一般タスクにおける12~74%の精度保持と1.9~3.1xのモデル収束促進比を実現していることがわかった。
論文 参考訳(メタデータ) (2025-06-06T10:59:11Z) - Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-04-17T08:32:25Z) - Byzantine-Resilient Over-the-Air Federated Learning under Zero-Trust Architecture [68.83934802584899]
我々は,セキュアな適応クラスタリング(FedSAC)を用いたフェデレーション学習(Federated Learning)と呼ばれる,無線通信のための新しいビザンチン・ロバストFLパラダイムを提案する。
FedSACは、デバイスの一部をゼロ信頼アーキテクチャ(ZTA)ベースのビザンティン識別と適応デバイスクラスタリングによる攻撃から保護することを目的としている。
実験精度と収束率の両面から,提案手法よりもFedSACの方が優れていることを示す。
論文 参考訳(メタデータ) (2025-03-24T01:56:30Z) - Aggregation on Learnable Manifolds for Asynchronous Federated Optimization [3.8208848658169763]
曲線学習としてアグリゲーションを取り入れた幾何学的枠組みを導入する。
そこで我々は,線形アグリゲーションを低次曲率成分に置き換えたAsyncBezierを提案する。
これらの利得は、他の方法がより高いローカルな計算予算に割り当てられた場合でも維持されることを示す。
論文 参考訳(メタデータ) (2025-03-18T16:36:59Z) - Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳(メタデータ) (2024-10-09T06:17:16Z) - Low-Latency Federated Learning over Wireless Channels with Differential
Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。
本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文 参考訳(メタデータ) (2021-06-20T13:51:18Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳(メタデータ) (2020-12-07T21:05:31Z) - Bidirectional compression in heterogeneous settings for distributed or
federated learning with partial participation: tight convergence guarantees [9.31522898261934]
Artemisは、コミュニケーション制約とデバイス部分的な参加を伴う分散環境での学習問題を解決するためのフレームワークである。
これは、一方向圧縮(サーバへの)のみを考慮する既存のアルゴリズムを改善したり、圧縮演算子に非常に強い仮定を用いており、デバイスの部分的な参加を考慮していないことが多い。
論文 参考訳(メタデータ) (2020-06-25T17:37:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。