論文の概要: PolarAir: A Compressed Sensing Scheme for Over-the-Air Federated Learning

• arxiv url: http://arxiv.org/abs/2301.10110v1
• Date: Tue, 24 Jan 2023 16:22:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-25 13:07:24.154489
• Title: PolarAir: A Compressed Sensing Scheme for Over-the-Air Federated Learning
• Title（参考訳）: polarair: オーバーザ・エア・フェデレート学習のための圧縮センシング方式
• Authors: Michail Gkagkos, Krishna R. Narayanan, Jean-Francois Chamberland, Costas N. Georghiades
• Abstract要約: PolarAirは、ユーザ側の勾配を小さくし、送信に必要なチャネル数を減らす線形圧縮戦略である。 圧縮を伴わずに勾配を伝達した場合と比較して,チャネル使用回数を30%削減できることを示す。
• 参考スコア（独自算出の注目度）: 8.882671058559014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We explore a scheme that enables the training of a deep neural network in a Federated Learning configuration over an additive white Gaussian noise channel. The goal is to create a low complexity, linear compression strategy, called PolarAir, that reduces the size of the gradient at the user side to lower the number of channel uses needed to transmit it. The suggested approach belongs to the family of compressed sensing techniques, yet it constructs the sensing matrix and the recovery procedure using multiple access techniques. Simulations show that it can reduce the number of channel uses by ~30% when compared to conveying the gradient without compression. The main advantage of the proposed scheme over other schemes in the literature is its low time complexity. We also investigate the behavior of gradient updates and the performance of PolarAir throughout the training process to obtain insight on how best to construct this compression scheme based on compressed sensing.
• Abstract（参考訳）: 我々は,付加的な白色ガウス雑音チャネル上でのフェデレート学習構成において,ディープニューラルネットワークのトレーニングを可能にする手法を探究する。 目標は、polarairと呼ばれる、複雑さの低さと線形圧縮戦略を作ることで、ユーザ側の勾配を小さくして、送信に必要なチャネル数を減らすことにある。 提案手法は, 圧縮センシング技術のファミリーに属するが, 複数のアクセス技術を用いて, センサマトリックスとリカバリ手順を構築する。 シミュレーションにより、圧縮せずに勾配を伝達するのに比べ、チャネルの使用量を30%程度削減できることが示された。 文献における他のスキームよりも提案されたスキームの主な利点は、その低時間複雑性である。 また, この圧縮スキームを圧縮センシングに基づいて構築する方法についての洞察を得るために, 学習過程における勾配更新の挙動と極性空気の性能について検討した。

関連論文リスト

• Unrolled Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• Wyner-Ziv Gradient Compression for Federated Learning [4.619828919345114]
  グラディエント圧縮は, 圧縮勾配を伝送することで通信負荷を低減する効果的な方法である。 本稿では、歴史的勾配を用いて勾配を圧縮するフェデレート学習のための実用的な勾配圧縮手法を提案する。 また、実際のデータセットに勾配量子化法を実装し、提案手法の性能は従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-11-16T07:55:43Z)
• Wideband and Entropy-Aware Deep Soft Bit Quantization [1.7259824817932292]
  広帯域チャネル間のソフトビット量子化のための新しいディープラーニングソリューションを提案する。 本手法は、損失関数に対する量子化およびエントロピー対応の強化により、エンドツーエンドで訓練される。 提案手法は,従来の最先端手法と比較して,高SNR方式で最大10 %の圧縮ゲインを実現する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:05Z)
• Turning Channel Noise into an Accelerator for Over-the-Air Principal Component Analysis [65.31074639627226]
  主成分分析(PCA)は、データセットの線形構造を抽出するための技術です。 勾配降下アルゴリズムに基づくマルチアクセスチャネル上にPCAを配置する手法を提案する。 オーバー・ザ・エア・アグリゲーションはマルチ・アクセスの遅延を減らすために採用され、オーバー・ザ・エア・PCAという名称を与える。
  論文  参考訳（メタデータ） (2021-04-20T16:28:33Z)
• Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution [71.29848468762789]
  圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。 この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。 提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T02:34:33Z)
• Sparse Communication for Training Deep Networks [56.441077560085475]
  同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。 このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。 いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
  論文  参考訳（メタデータ） (2020-09-19T17:28:11Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。