論文の概要: Communication Efficient Federated Learning over Multiple Access Channels
- arxiv url: http://arxiv.org/abs/2001.08737v1
- Date: Thu, 23 Jan 2020 18:59:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-07 13:29:50.149530
- Title: Communication Efficient Federated Learning over Multiple Access Channels
- Title（参考訳）: 複数のアクセスチャネル上でのコミュニケーション効率のよい連合学習
- Authors: Wei-Ting Chang, Ravi Tandon
- Abstract要約: 我々は、分散ユーザがパラメータサーバ(PS)の助けを借りて機械学習モデルを共同で訓練することを目的とした、フェデレートラーニング(FL)の問題について研究する。
FLの課題の1つは、FLの反復的な性質と大きなモデルサイズによる通信オーバーヘッドである。
本稿では、MACの容量領域に基づいて量子化パラメータを最適化する勾配量子化手法を提案する。
- 参考スコア（独自算出の注目度）: 15.873376888984811
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we study the problem of federated learning (FL), where
distributed users aim to jointly train a machine learning model with the help
of a parameter server (PS). In each iteration of FL, users compute local
gradients, followed by transmission of the quantized gradients for subsequent
aggregation and model updates at PS. One of the challenges of FL is that of
communication overhead due to FL's iterative nature and large model sizes. One
recent direction to alleviate communication bottleneck in FL is to let users
communicate simultaneously over a multiple access channel (MAC), possibly
making better use of the communication resources.
In this paper, we consider the problem of FL learning over a MAC. In
particular, we focus on the design of digital gradient transmission schemes
over a MAC, where gradients at each user are first quantized, and then
transmitted over a MAC to be decoded individually at the PS. When designing
digital FL schemes over MACs, there are new opportunities to assign different
amount of resources (such as rate or bandwidth) to different users based on a)
the informativeness of the gradients at each user, and b) the underlying
channel conditions. We propose a stochastic gradient quantization scheme, where
the quantization parameters are optimized based on the capacity region of the
MAC. We show that such channel aware quantization for FL outperforms uniform
quantization, particularly when users experience different channel conditions,
and when have gradients with varying levels of informativeness.
- Abstract（参考訳）: 本研究では,分散ユーザがパラメータサーバ(PS)の助けを借りて機械学習モデルを共同で訓練することを目的とした,統合学習(FL)の問題について検討する。
FLの各イテレーションでは、ユーザーは局所勾配を計算し、その後PSにおけるその後の集約とモデル更新のために量子化勾配を伝送する。
FLの課題の1つは、FLの反復的な性質と大きなモデルサイズによる通信オーバーヘッドである。
FLにおける通信ボトルネックを軽減するための最近の方向の1つは、複数のアクセスチャネル(MAC)上で同時に通信できるようにすることである。
本稿では,MAC上でのFL学習の問題について考察する。
特に,各ユーザの勾配をまず量子化し,次いでMAC上に送信してPSで個別に復号化するMAC上のデジタル勾配送信方式の設計に着目する。
MAC上でデジタルFLスキームを設計する場合、異なるユーザに対して異なるリソース(レートや帯域幅など)を割り当てる新たな機会がある。
a)各ユーザの勾配に関する情報性,及び
b) 基礎となるチャネル条件。
本稿では,MACの容量領域に基づいて量子化パラメータを最適化する確率勾配量子化手法を提案する。
このようなチャネル認識量子化は、特にユーザが異なるチャネル条件を経験する場合や、情報レベルが変化する勾配を持つ場合において、一様量子化よりも優れる。
関連論文リスト
- A SER-based Device Selection Mechanism in Multi-bits Quantization Federated Learning [6.922030110539386]
本稿では,無線通信が記号誤り率(SER)による連合学習(FL)に与える影響を解析する。
FLシステムでは,非直交多重アクセス(NOMA)を基本的な通信フレームワークとして使用することで,複数のユーザによる通信混雑や干渉を低減することができる。
勾配パラメータを複数のビットに量子化し、より多くの勾配情報を最大範囲に保持し、伝送エラーの耐性を向上させる。
論文 参考訳（メタデータ） (2024-04-20T06:27:01Z) - A Masked Pruning Approach for Dimensionality Reduction in
Communication-Efficient Federated Learning Systems [11.639503711252663]
Federated Learning(FL)は、多数のノードにわたるモデルのトレーニング用に設計された、成長する機械学習(ML)パラダイムである。
本研究では, フラニング法とFL法を組み合わせることにより, 限界を克服する新しいアルゴリズムを開発した。
本研究は,MPFLの既存手法と比較して優れた性能を示す広範囲な実験的研究である。
論文 参考訳（メタデータ） (2023-12-06T20:29:23Z) - Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation
and Convergence [83.58839320635956]
フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。
最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。
本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
論文 参考訳（メタデータ） (2023-03-23T02:42:10Z) - Over-the-Air Federated Edge Learning with Hierarchical Clustering [21.51594138166343]
OTA(Over-the-air)アグリゲーションでは、パラメータサーバ(PS)の助けを借りて、モバイルユーザ(MU)がグローバルモデルに関するコンセンサスに到達することを目標としている。
OTA FLでは、MUはトレーニングラウンド毎にローカルデータを使用してモデルをトレーニングし、同じ周波数帯域を非符号化で同時に送信する。
OTA FLは通信コストが大幅に削減されているが、チャネル効果やノイズの影響を受けやすい。
我々は、中間サーバ(IS)を用いてMUがより密集した場所にクラスタを形成する無線ベースの階層FLスキームを提案する。
論文 参考訳（メタデータ） (2022-07-19T12:42:12Z) - Joint Superposition Coding and Training for Federated Learning over
Multi-Width Neural Networks [52.93232352968347]
本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。
FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。
局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文 参考訳（メタデータ） (2021-12-05T11:17:17Z) - Bayesian Federated Learning over Wireless Networks [87.37301441859925]
フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。
本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-31T07:32:44Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳（メタデータ） (2020-06-05T07:10:22Z) - Efficient Federated Learning over Multiple Access Channel with
Differential Privacy Constraints [9.251773744318118]
マルチアクセスチャネル(MAC)上でのクライアントとパラメータサーバ(PS)間のデジタル通信を通じて、連邦学習(FL)の問題を研究する。
本稿では,分散デジタル勾配(D-DSGD)を各クライアントが行う方式を提案する。
提案方式の性能は,所定のMAC容量に対する収束率とDPレベルの観点から評価する。
論文 参考訳（メタデータ） (2020-05-15T20:38:04Z) - Gradient Statistics Aware Power Control for Over-the-Air Federated
Learning [59.40860710441232]
フェデレートラーニング(FL)は、多くのエッジデバイスが無線ネットワークで機械学習モデルを協調的にトレーニングできる有望なテクニックである。
本稿では、勾配統計を考慮に入れたオーバー・ザ・エアFLの電力制御問題について検討する。
論文 参考訳（メタデータ） (2020-03-04T14:06:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。