論文の概要: E-3SFC: Communication-Efficient Federated Learning with Double-way Features Synthesizing

• arxiv url: http://arxiv.org/abs/2502.03092v1
• Date: Wed, 05 Feb 2025 11:31:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:27:58.856443
• Title: E-3SFC: Communication-Efficient Federated Learning with Double-way Features Synthesizing
• Title（参考訳）: E-3SFC: 双方向特徴合成によるコミュニケーション効率の良いフェデレーションラーニング
• Authors: Yuhao Zhou, Yuxin Tian, Mingjia Shi, Yuanxi Li, Yanan Sun, Qing Ye, Jiancheng Lv,
• Abstract要約: モデルサイズの指数的成長は、学習(FL)における通信負担を大幅に増加させた。 圧縮勾配を伝送することでこの負担を軽減する既存の手法は、高い圧縮誤差に直面し、モデルの性能を低下させる。 本研究では,拡張シングルステップ合成機能と呼ばれる体系的アルゴリズムを提案する。 E-3SFCは3つのサブコンポーネント、すなわちSingle-Step Synthetic Features (3SFC)、ダブルウェイ圧縮アルゴリズム、通信予算スケジューラから構成される。
• 参考スコア（独自算出の注目度）: 23.586844019776024
• License:
• Abstract: The exponential growth in model sizes has significantly increased the communication burden in Federated Learning (FL). Existing methods to alleviate this burden by transmitting compressed gradients often face high compression errors, which slow down the model's convergence. To simultaneously achieve high compression effectiveness and lower compression errors, we study the gradient compression problem from a novel perspective. Specifically, we propose a systematical algorithm termed Extended Single-Step Synthetic Features Compressing (E-3SFC), which consists of three sub-components, i.e., the Single-Step Synthetic Features Compressor (3SFC), a double-way compression algorithm, and a communication budget scheduler. First, we regard the process of gradient computation of a model as decompressing gradients from corresponding inputs, while the inverse process is considered as compressing the gradients. Based on this, we introduce a novel gradient compression method termed 3SFC, which utilizes the model itself as a decompressor, leveraging training priors such as model weights and objective functions. 3SFC compresses raw gradients into tiny synthetic features in a single-step simulation, incorporating error feedback to minimize overall compression errors. To further reduce communication overhead, 3SFC is extended to E-3SFC, allowing double-way compression and dynamic communication budget scheduling. Our theoretical analysis under both strongly convex and non-convex conditions demonstrates that 3SFC achieves linear and sub-linear convergence rates with aggregation noise. Extensive experiments across six datasets and six models reveal that 3SFC outperforms state-of-the-art methods by up to 13.4% while reducing communication costs by 111.6 times. These findings suggest that 3SFC can significantly enhance communication efficiency in FL without compromising model performance.
• Abstract（参考訳）: モデルサイズの指数的増加は、フェデレートラーニング(FL)におけるコミュニケーション負担を大幅に増加させた。 圧縮勾配を伝送することでこの負担を軽減する既存の手法は、しばしば高い圧縮誤差に直面し、モデルの収束を遅くする。 高い圧縮効率と低い圧縮誤差を同時に達成するために,新しい視点から勾配圧縮問題を考察する。 具体的には,2方向圧縮アルゴリズムと通信予算スケジューラの3つのサブコンポーネント,すなわちSFC(Single-Step Synthetic Features Compressor)からなる,拡張シングルステップ合成特徴圧縮(E-3SFC)と呼ばれる体系的アルゴリズムを提案する。 まず、モデルの勾配計算過程を対応する入力からの勾配の圧縮とみなし、逆過程を勾配の圧縮とみなす。 そこで本研究では,モデル自体を減圧器として利用し,モデル重みや対象関数などの事前訓練を活用する3SFCという新しい勾配圧縮手法を提案する。 3SFCは1ステップのシミュレーションで生勾配を小さな合成特徴に圧縮し、全体的な圧縮誤差を最小限に抑えるためにエラーフィードバックを組み込む。 さらに通信オーバーヘッドを減らすため、3SFCはE-3SFCに拡張され、双方向圧縮と動的通信予算のスケジューリングが可能である。 強凸および非凸条件下での理論的解析により, 3SFC がアグリゲーションノイズを伴う線形および準線形収束速度を達成することを示す。 6つのデータセットと6つのモデルにわたる大規模な実験により、3SFCは最先端の手法を最大13.4%上回り、通信コストを111.6倍削減した。 これらの結果から, 3SFCはモデル性能を損なうことなく, FLにおける通信効率を著しく向上させることができることが示唆された。

関連論文リスト

• Fast Feedforward 3D Gaussian Splatting Compression [55.149325473447384]
  3D Gaussian Splatting (FCGS) は、1つのフィードフォワードパスで3DGS表現を高速に圧縮できる最適化フリーモデルである。 FCGSは圧縮比を20倍以上に向上し、高精細度を維持しながら、ほとんどのシーン毎のSOTA最適化手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T15:13:08Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。 実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Bandwidth-Aware and Overlap-Weighted Compression for Communication-Efficient Federated Learning [29.727339562140653]
  フェデレーション平均化(FedAvg)におけるスパシフィケーションなどの現在のデータ圧縮手法は、フェデレーション学習(FL)のコミュニケーション効率を効果的に向上させる。 これらの手法は、異種帯域幅と非IIDデータによるストラグラー問題やモデル性能の低下といった課題に直面する。 非IIDデータに関連する問題を軽減しつつ,通信効率の向上を目的としたFLのための帯域幅対応圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-27T02:28:27Z)
• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)
• Stochastic Controlled Averaging for Federated Learning with Communication Compression [36.09135695005069]
  我々は,非バイアス圧縮とバイアス圧縮をサポートするために,SCALLIONとSCAFCOMという2つの圧縮FLアルゴリズムを提案する。 両手法は通信や計算の複雑さの観点から既存のFL法よりも優れている。
  論文  参考訳（メタデータ） (2023-08-16T06:35:36Z)
• Communication-efficient Federated Learning with Single-Step Synthetic Features Compressor for Faster Convergence [18.424046602963926]
  通信効率のよいフェデレート学習を実現するために, 単段合成特徴圧縮機(3SFC)を提案する。 3SFCの圧縮フェーズは、類似性に基づく目的関数を利用して、1ステップで最適化できる。 複数のデータセットやモデルの実験から、3SFCは競合する手法に比べてはるかにコンバージェンスレートが優れていることが示唆されている。
  論文  参考訳（メタデータ） (2023-02-27T07:47:23Z)
• Optimal Rate Adaption in Federated Learning with Compressed Communications [28.16239232265479]
  フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。 ネットワーク環境における 圧縮とモデルの精度のトレードオフは 未だ不明です 各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-13T14:26:15Z)
• Remote Multilinear Compressive Learning with Adaptive Compression [107.87219371697063]
  MultiIoT Compressive Learning (MCL)は、多次元信号に対する効率的な信号取得および学習パラダイムである。 MCLモデルにそのような機能を実現するための新しい最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:24:03Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Compressed Communication for Distributed Training: Adaptive Methods and System [13.244482588437972]
  通信オーバーヘッドは、分散機械学習システムのスケーラビリティを著しく妨げます。 近年,通信オーバーヘッドを低減するために勾配圧縮を使うことへの関心が高まっている。 本稿では, グラデーション圧縮を用いた新しい適応勾配法を提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:41:47Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。