Fugu-MT 論文翻訳(概要): Compressed Proximal Federated Learning for Non-Convex Composite Optimization on Heterogeneous Data

論文の概要: Compressed Proximal Federated Learning for Non-Convex Composite Optimization on Heterogeneous Data

arxiv url: http://arxiv.org/abs/2603.07654v1
Date: Sun, 08 Mar 2026 14:37:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-10 15:13:15.004613
Title: Compressed Proximal Federated Learning for Non-Convex Composite Optimization on Heterogeneous Data
Title（参考訳）: 不均一データを用いた非凸複合最適化のための圧縮近距離学習
Authors: Pu Qiu, Chen Ouyang, Yongyang Xiong, Keyou You, Wanquan Liu, Yang Shi,
Abstract要約: FCOは非平滑化器を扱う際に通信効率と堅牢性を達成する。 Fed Composite Error FeedbackCEFは非効率的な量子収束のための新しいアルゴリズムである。非IIDデータからアグレッシブ化やノイズを緩和する。
参考スコア（独自算出の注目度）: 12.4809003470908
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Composite Optimization (FCO) has emerged as a promising framework for training models with structural constraints (e.g., sparsity) in distributed edge networks. However, simultaneously achieving communication efficiency and convergence robustness remains a significant challenge, particularly when dealing with non-smooth regularizers, statistical heterogeneity, and the restrictions of biased compression. To address these issues, we propose FedCEF (Federated Composite Error Feedback), a novel algorithm tailored for non-convex FCO. FedCEF introduces a decoupled proximal update scheme that separates the proximal operator from communication, enabling clients to handle non-smooth terms locally while transmitting compressed information. To mitigate the noise from aggressive quantization and the bias from non-IID data, FedCEF integrates a rigorous error feedback mechanism with control variates. Furthermore, we design a communication-efficient pre-proximal downlink strategy that allows clients to exactly reconstruct global control variables without explicit transmission. We theoretically establish that FedCEF achieves sublinear convergence to a bounded residual error under general non-convexity, which is controllable via the step size and batch size. Extensive experiments on real datasets validate FedCEF maintains competitive model accuracy even under extreme compression ratios (e.g., 1%), significantly reducing the total communication volume compared to uncompressed baselines.
Abstract（参考訳）: Federated Composite Optimization (FCO)は、分散エッジネットワークにおける構造的制約(空間性など)を持つモデルをトレーニングするための、有望なフレームワークとして登場した。しかし、通信効率と収束堅牢性を同時に達成することは、特に非滑らかな正則化器、統計的不均一性、バイアス圧縮の制限を扱う場合、重要な課題である。これらの問題に対処するため、非凸FCOに適した新しいアルゴリズムであるFedCEF(Federated Composite Error Feedback)を提案する。 FedCEFは分離された近位更新方式を導入し、近位演算子と通信を分離し、クライアントが圧縮された情報を送信しながら非滑らかな用語をローカルに処理できるようにする。アクティブな量子化と非IIDデータからのバイアスからノイズを軽減するため、FedCEFは厳密なエラーフィードバック機構を制御変数と統合する。さらに,クライアントが明示的な送信なしにグローバルな制御変数を正確に再構築できる通信効率の低いダウンリンク戦略を設計する。我々は、FedCEFが一般の非凸性の下で、ステップサイズとバッチサイズを介して制御可能な有界残差誤差へのサブ線形収束を実現することを理論的に確立する。実データセットに対する大規模な実験により、FedCEFは極端な圧縮比(例:1%)でも競合モデルの精度を維持し、非圧縮ベースラインと比較して通信量を大幅に削減する。

関連論文リスト

FedZMG: Efficient Client-Side Optimization in Federated Learning [0.19116784879310023]
Federated Zero Mean Gradients (FedZMG) はパラメータフリーのクライアントサイド最適化アルゴリズムである。 FedZMGは局所勾配をゼロ平均超平面に投影し、不均一なデータ分布に固有の「強度」あるいは「バイアス」シフトを効果的に中和する。
論文参考訳（メタデータ） (2026-02-20T17:45:28Z)
Fractional-Order Federated Learning [4.1751058176413105]
フェデレートラーニング(FL)は、リモートクライアントがクライアントのプライバシを保護しながら、グローバルモデルを協調的にトレーニングすることを可能にする。プライバシー保護のメリットにもかかわらず、FLには、収束の遅い、通信コストの高い、非独立性および独立性のない(非IID)データなど、大きな欠点がある。
論文参考訳（メタデータ） (2026-02-17T06:25:23Z)
Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
論文参考訳（メタデータ） (2026-02-01T05:54:59Z)
FedSparQ: Adaptive Sparse Quantization with Error Feedback for Robust & Efficient Federated Learning [7.461859467262201]
フェデレートラーニング(FL)は、分散クライアント間の協調モデルトレーニングを可能にする。 FLは、制約されたネットワーク上での高次元モデル更新の頻繁な交換による通信オーバーヘッドに悩まされる。本稿では,各クライアントの勾配を動的に分散する軽量圧縮フレームワークであるFedSparQを紹介する。
論文参考訳（メタデータ） (2025-11-05T12:38:08Z)
Mitigating Catastrophic Forgetting with Adaptive Transformer Block Expansion in Federated Fine-Tuning [25.121545962121907]
大規模言語モデル(LLM)のFedFT(Federated Fine-tuning)は、分散データ環境にモデルを適用するための有望なソリューションとして登場した。適応型トランスフォーマーブロック拡張機構と動的トレーニング可能なブロック割り当て戦略を統合した新しいFedFTフレームワークであるFedBEを提案する。その結果、FedBEは、下流タスクの精度を劣化させることなく、微調整後の一般タスクにおける12～74%の精度保持と1.9～3.1xのモデル収束促進比を実現していることがわかった。
論文参考訳（メタデータ） (2025-06-06T10:59:11Z)
Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。非滑らかな正規化はしばしば機械学習タスクに組み込まれる。本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2025-04-17T08:32:25Z)
FedCanon: Non-Convex Composite Federated Learning with Efficient Proximal Operation on Heterogeneous Data [17.80715992954134]
複合学習は、追加の正規化用語で機械学習問題を解決するための一般的なフレームワークを提供する。我々は非滑らかな正規化問題を解くためにFedCanonアルゴリズムを提案する。
論文参考訳（メタデータ） (2025-04-16T09:28:26Z)
Communication-Efficient Federated Learning by Quantized Variance Reduction for Heterogeneous Wireless Edge Networks [55.467288506826755]
フェデレーテッド・ラーニング(FL)は、無線エッジネットワークにおけるローカル・プライバシ・アウェア・コラボレーティブ・モデルトレーニングの有効なソリューションとして認識されている。既存の通信効率の高いFLアルゴリズムは、デバイス間の大きなばらつきを低減できない。本稿では,高度分散還元方式に依存する新しい通信効率FLアルゴリズムであるFedQVRを提案する。
論文参考訳（メタデータ） (2025-01-20T04:26:21Z)
Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文参考訳（メタデータ） (2024-02-06T07:25:21Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文参考訳（メタデータ） (2022-12-14T13:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。