論文の概要: Over-the-Air Federated Learning with Compressed Sensing: Is Sparsification Necessary?

• arxiv url: http://arxiv.org/abs/2310.03410v1
• Date: Thu, 5 Oct 2023 09:29:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 16:56:30.384453
• Title: Over-the-Air Federated Learning with Compressed Sensing: Is Sparsification Necessary?
• Title（参考訳）: 圧縮センシングを用いた空中フェデレート学習:スパーシフィケーションは必要か?
• Authors: Adrian Edin and Zheng Chen
• Abstract要約: Over-the-Air (OtA) Federated Learning (FL)は、複数のエージェントが共通のエッジサーバにモデル更新を送信するためにOtA計算を適用するFLシステムである。 OtA計算の2つの重要な特徴、すなわち線形処理と信号レベルの重ね合わせは、チャネル越しに送信されるデータサンプルの数を減らすために、圧縮センシング(CS)法による線形圧縮の使用を動機付けている。
• 参考スコア（独自算出の注目度）: 4.222992359119992
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over-the-Air (OtA) Federated Learning (FL) refers to an FL system where multiple agents apply OtA computation for transmitting model updates to a common edge server. Two important features of OtA computation, namely linear processing and signal-level superposition, motivate the use of linear compression with compressed sensing (CS) methods to reduce the number of data samples transmitted over the channel. The previous works on applying CS methods in OtA FL have primarily assumed that the original model update vectors are sparse, or they have been sparsified before compression. However, it is unclear whether linear compression with CS-based reconstruction is more effective than directly sending the non-zero elements in the sparsified update vectors, under the same total power constraint. In this study, we examine and compare several communication designs with or without sparsification. Our findings demonstrate that sparsification before compression is not necessary. Alternatively, sparsification without linear compression can also achieve better performance than the commonly considered setup that combines both.
• Abstract（参考訳）: Over-the-Air (OtA) Federated Learning (FL)は、複数のエージェントが共通のエッジサーバにモデル更新を送信するためにOtA計算を適用するFLシステムである。 OtA計算の2つの重要な特徴、すなわち線形処理と信号レベルの重ね合わせは、チャネル越しに送信されるデータサンプルの数を減らすために、圧縮センシング(CS)法による線形圧縮の使用を動機付けている。 OtA FLにおけるCS法の適用に関する以前の研究は、オリジナルのモデル更新ベクターは、圧縮前にスパース化されていると想定していた。 しかし、csベースの再構成による線形圧縮が、スパルシファイド更新ベクトルの非ゼロ要素を同じ全パワー制約下で直接送るよりも有効であるかどうかは不明である。 本研究では,複数の通信設計と疎結合の有無を比較検討する。 以上の結果から,圧縮前のスパーシフィケーションは不要であることが判明した。 あるいは、線形圧縮のないスペーシフィケーションは、どちらも組み合わせた一般的な設定よりも優れたパフォーマンスが得られる。

関連論文リスト

• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
  フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。 本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:25:21Z)
• Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
  我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-03-31T15:44:13Z)
• THC: Accelerating Distributed Deep Learning Using Tensor Homomorphic Compression [0.0]
  ディープニューラルネットワーク(Deep Neural Network, DNN)は、画像分類、コンピュータビジョン、自然言語処理などの重要なユースケースのデファクトスタンダードである。 データセットが大きくなると、ますます大きなクラスタ上での分散トレーニングが必要になる。 このボトルネックに対処し、トレーニングを加速するために、広くデプロイされたアプローチは圧縮である。 我々は、圧縮された値の直接集約を可能にする新しい双方向圧縮フレームワークであるホモモルフィック圧縮(THC)を紹介する。
  論文  参考訳（メタデータ） (2023-02-16T19:48:20Z)
• Unrolled Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• Fine-tuning Language Models over Slow Networks using Activation Compression with Guarantees [33.38465345409054]
  我々は、AC-SGDと最先端勾配圧縮アルゴリズムを組み合わせることで、"エンドツーエンド圧縮"を可能にすることを示す。 AC-SGDは、モデル品質を犠牲にすることなく、遅いネットワークで最大4.3倍のエンドツーエンドのスピードアップを提供する。
  論文  参考訳（メタデータ） (2022-06-02T20:49:12Z)
• EF-BV: A Unified Theory of Error Feedback and Variance Reduction Mechanisms for Biased and Unbiased Compression in Distributed Optimization [7.691755449724637]
  分散最適化と学習では、異なるコンピュータユニット間の通信がボトルネックとなることが多い。 圧縮演算子には2つのクラスがあり、それを利用するアルゴリズムは別々である。 本稿では,特にDIANAとEF21を復元する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-09T10:44:23Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。