Fugu-MT 論文翻訳(概要): FLECS-CGD: A Federated Learning Second-Order Framework via Compression and Sketching with Compressed Gradient Differences

論文の概要: FLECS-CGD: A Federated Learning Second-Order Framework via Compression and Sketching with Compressed Gradient Differences

arxiv url: http://arxiv.org/abs/2210.09626v1
Date: Tue, 18 Oct 2022 06:44:35 GMT
ステータス: 処理完了
システム内更新日: 2022-10-19 15:58:37.661995
Title: FLECS-CGD: A Federated Learning Second-Order Framework via Compression and Sketching with Compressed Gradient Differences
Title（参考訳）: FLECS-CGD:圧縮および圧縮による2次学習フレームワーク
Authors: Artem Agafonov, Brahim Erraji, and Martin Tak\'a\v{c}
Abstract要約: 本稿では、FLECS-CGD(FLECS-CGD)と呼ばれる差分差分を圧縮したFLECSの修正を提案する。実験は提案手法の実用的メリットを示している。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In the recent paper FLECS (Agafonov et al, FLECS: A Federated Learning Second-Order Framework via Compression and Sketching), the second-order framework FLECS was proposed for the Federated Learning problem. This method utilize compression of sketched Hessians to make communication costs low. However, the main bottleneck of FLECS is gradient communication without compression. In this paper, we propose the modification of FLECS with compressed gradient differences, which we call FLECS-CGD (FLECS with Compressed Gradient Differences) and make it applicable for stochastic optimization. Convergence guarantees are provided in strongly convex and nonconvex cases. Experiments show the practical benefit of proposed approach.
Abstract（参考訳）: 最近の論文 FLECS (Agafonov et al, FLECS: A Federated Learning Second-Order Framework via Compression and Sketching) では、フェデレートラーニング問題に対する2次フレームワーク FLECS が提案されている。スケッチしたヘッセンの圧縮を利用して通信コストを低くする。しかし、FLECSの主なボトルネックは圧縮のない勾配通信である。本稿では, FLECS-CGD (FLECS with Compressed Gradient differences) と呼ばれる圧縮勾配差によるFLECSの修正を提案し, 確率的最適化に適用する。収束保証は、強い凸と非凸のケースで提供される。実験は提案手法の実用的利点を示す。

関連論文リスト

CG-FedLLM: How to Compress Gradients in Federated Fune-tuning for Large Language Models [21.919883617413358]
本研究では,Large-Language Models (LLMs) における通信効率向上のための圧縮勾配の革新的手法を提案する。また、このプライバシー中心のフレームワークにおける信号対雑音比、圧縮率、ロバスト性に着目した一連の実験分析を行った。
論文参考訳（メタデータ） (2024-05-22T15:32:38Z)
Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
論文参考訳（メタデータ） (2024-05-17T21:17:27Z)
A Differentiable Framework for End-to-End Learning of Hybrid Structured Compression [2.3940819037450987]
フィルタプルーニングと低ランク分解は構造化圧縮の基礎技術である。我々は、フィルタ選択、ランク選択、予算制約を1つの分析式に表現できるtextitDifferentiable Framework(DF)を開発した。
論文参考訳（メタデータ） (2023-09-21T02:16:05Z)
Convergence and Privacy of Decentralized Nonconvex Optimization with Gradient Clipping and Communication Compression [31.161598424963934]
本稿では、圧縮を伴う分散非通信最適化における一般的な戦略の役割を理解するための第一歩を踏み出す。ミニバッチ摂動前後の2種類の勾配クリッピングを提案する。
論文参考訳（メタデータ） (2023-05-17T02:13:18Z)
Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
論文参考訳（メタデータ） (2023-03-31T15:44:13Z)
Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
論文参考訳（メタデータ） (2021-11-30T02:13:54Z)
Wyner-Ziv Gradient Compression for Federated Learning [4.619828919345114]
グラディエント圧縮は, 圧縮勾配を伝送することで通信負荷を低減する効果的な方法である。本稿では、歴史的勾配を用いて勾配を圧縮するフェデレート学習のための実用的な勾配圧縮手法を提案する。また、実際のデータセットに勾配量子化法を実装し、提案手法の性能は従来の手法よりも優れている。
論文参考訳（メタデータ） (2021-11-16T07:55:43Z)
Innovation Compression for Communication-efficient Distributed Optimization with Linear Convergence [23.849813231750932]
本稿では,強い凸最適化問題を解決するために,通信効率のよい線形収束分散(COLD)アルゴリズムを提案する。イノベーションベクターを圧縮することで、COLDは$delta$-contractedコンプレッサーのクラスに対して線形収束を達成できます。数値実験は、異なる圧縮機の下で両方のアルゴリズムの利点を実証する。
論文参考訳（メタデータ） (2021-05-14T08:15:18Z)
Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
論文参考訳（メタデータ） (2020-07-01T04:35:00Z)
Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文参考訳（メタデータ） (2020-06-16T13:41:54Z)
On Biased Compression for Distributed Learning [55.89300593805943]
バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
論文参考訳（メタデータ） (2020-02-27T19:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。