論文の概要: Communication Efficient Distributed Learning over Wireless Channels

• arxiv url: http://arxiv.org/abs/2209.01682v1
• Date: Sun, 4 Sep 2022 19:41:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 15:26:05.989628
• Title: Communication Efficient Distributed Learning over Wireless Channels
• Title（参考訳）: 無線チャネル上での効率的な分散学習
• Authors: Idan Achituve and Wenbo Wang and Ethan Fetaya and Amir Leshem
• Abstract要約: 垂直分散学習は、複数の学習従事者が収集した局所的特徴を利用して、より良いグローバルモデルを形成する。 本研究では,各作業者が局所観測データの低次元埋め込みを個別に学習する階層型分散学習フレームワークを提案する。 提案した学習フレームワークは,学習者の生出力の結合を利用して,学習モデルとほぼ同一のモデル精度を達成可能であることを示す。
• 参考スコア（独自算出の注目度）: 35.90632878033643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vertical distributed learning exploits the local features collected by multiple learning workers to form a better global model. However, the exchange of data between the workers and the model aggregator for parameter training incurs a heavy communication burden, especially when the learning system is built upon capacity-constrained wireless networks. In this paper, we propose a novel hierarchical distributed learning framework, where each worker separately learns a low-dimensional embedding of their local observed data. Then, they perform communication efficient distributed max-pooling for efficiently transmitting the synthesized input to the aggregator. For data exchange over a shared wireless channel, we propose an opportunistic carrier sensing-based protocol to implement the max-pooling operation for the output data from all the learning workers. Our simulation experiments show that the proposed learning framework is able to achieve almost the same model accuracy as the learning model using the concatenation of all the raw outputs from the learning workers, while requiring a communication load that is independent of the number of workers.
• Abstract（参考訳）: 垂直分散学習は、複数のラーニングワーカーが収集したローカル機能を活用し、よりよいグローバルモデルを形成する。 しかしながら、特にキャパシティに制約のある無線ネットワーク上に学習システムが構築されている場合、作業者とパラメータトレーニングのためのモデルアグリゲータ間のデータの交換は、通信の重荷を負う。 本稿では,各作業者が局所観測データの低次元埋め込みを別々に学習する,新しい階層型分散学習フレームワークを提案する。 そして、この合成された入力をアグリゲータに効率的に送信する通信効率のよい分散最大プーリングを行う。 共有無線チャネル上でのデータ交換を行うために,全学習者からの出力データの最大プール動作を実現するための日和見的キャリアセンシングに基づくプロトコルを提案する。 シミュレーション実験により,提案した学習フレームワークは,学習者数に依存しない通信負荷を必要としながら,学習者の生出力の連結を利用して学習モデルとほぼ同一のモデル精度を達成可能であることが示された。

関連論文リスト

• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Adaptive Parameterization of Deep Learning Models for Federated Learning [85.82002651944254]
  Federated Learningは、分散形式でディープニューラルネットワークをトレーニングする方法を提供する。 トレーニング中にモデルパラメータや勾配を定期的に交換する必要があるため、通信オーバーヘッドが発生する。 本稿では,フェデレートラーニングのための並列適応器を提案する。
  論文  参考訳（メタデータ） (2023-02-06T17:30:33Z)
• Decentralized Learning with Multi-Headed Distillation [12.90857834791378]
  プライベートデータによる分散学習は、機械学習の中心的な問題である。 本研究では, 個別の非IDデータを持つ複数のエージェントが相互に学習できる, 蒸留に基づく分散学習手法を提案する。
  論文  参考訳（メタデータ） (2022-11-28T21:01:43Z)
• Collaborative Learning of Distributions under Heterogeneity and Communication Constraints [35.82172666266493]
  機械学習では、ユーザはしばしば、データを生成するディストリビューションを学ぶために協力する必要がある。 まず、ユーザはサーバと通信して中央分布を学習し、協調する。 そして、学習した中央分布を微調整して、ユーザの個々の分布を推定する。
  論文  参考訳（メタデータ） (2022-06-01T18:43:06Z)
• RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
  分散機械学習では、労働者はローカルデータのモデル更新を計算する。 労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。 このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
  論文  参考訳（メタデータ） (2021-10-08T14:55:32Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• Communication-Efficient Federated Learning via Predictive Coding [38.778944321534084]
  フェデレートされた学習は、リモートワーカーが共同で機械学習モデルを共有することができる。 通信オーバーヘッドは、電力と帯域幅が限られているため、重大なボトルネックとなっている。 フェデレート学習のための予測符号化に基づく通信方式を提案する。
  論文  参考訳（メタデータ） (2021-08-02T14:12:19Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Multi-modal AsynDGAN: Learn From Distributed Medical Image Data without Sharing Private Information [55.866673486753115]
  プライバシーとセキュリティを守るために拡張可能で弾力性のある学習フレームワークを提案します。 提案するフレームワークは分散Asynchronized Discriminator Generative Adrial Networks (AsynDGAN) である。
  論文  参考訳（メタデータ） (2020-12-15T20:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。