論文の概要: Communication-Efficient Federated Learning via Predictive Coding

• arxiv url: http://arxiv.org/abs/2108.00918v1
• Date: Mon, 2 Aug 2021 14:12:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-03 20:42:26.338491
• Title: Communication-Efficient Federated Learning via Predictive Coding
• Title（参考訳）: 予測符号化によるコミュニケーション効率のよい連合学習
• Authors: Kai Yue, Richeng Jin, Chau-Wai Wong, Huaiyu Dai
• Abstract要約: フェデレートされた学習は、リモートワーカーが共同で機械学習モデルを共有することができる。 通信オーバーヘッドは、電力と帯域幅が限られているため、重大なボトルネックとなっている。 フェデレート学習のための予測符号化に基づく通信方式を提案する。
• 参考スコア（独自算出の注目度）: 38.778944321534084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning can enable remote workers to collaboratively train a shared machine learning model while allowing training data to be kept locally. In the use case of wireless mobile devices, the communication overhead is a critical bottleneck due to limited power and bandwidth. Prior work has utilized various data compression tools such as quantization and sparsification to reduce the overhead. In this paper, we propose a predictive coding based communication scheme for federated learning. The scheme has shared prediction functions among all devices and allows each worker to transmit a compressed residual vector derived from the reference. In each communication round, we select the predictor and quantizer based on the rate-distortion cost, and further reduce the redundancy with entropy coding. Extensive simulations reveal that the communication cost can be reduced up to 99% with even better learning performance when compared with other baseline methods.
• Abstract（参考訳）: フェデレーション学習は、リモートワーカーが共有機械学習モデルを協調的にトレーニングし、トレーニングデータをローカルに保持できるようにする。 無線モバイルデバイスの場合、通信のオーバーヘッドは電力と帯域幅が限られているため、重大なボトルネックとなる。 以前の作業では、量子化やスパーシフィケーションといったさまざまなデータ圧縮ツールを使用してオーバーヘッドを削減している。 本稿では,フェデレーション学習のための予測符号化に基づく通信方式を提案する。 このスキームはすべてのデバイス間で予測機能を共有しており、各作業者は基準から導出された圧縮された残留ベクトルを送信できる。 各通信ラウンドにおいて、レート歪みコストに基づいて予測器と量子化器を選択し、エントロピー符号化による冗長性をさらに低減する。 大規模なシミュレーションにより,他のベースライン手法と比較して,学習性能が向上し,通信コストを99%まで削減できることがわかった。

関連論文リスト

• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• An Efficient Federated Learning Framework for Training Semantic Communication System [29.593406320684448]
  ほとんどの意味コミュニケーションシステムは高度なディープラーニングモデルに基づいて構築されている。 プライバシーとセキュリティ上の懸念から、データの送信は制限されている。 我々は、FedLolと呼ばれるクライアントからグローバルモデルを集約するメカニズムを導入します。
  論文  参考訳（メタデータ） (2023-10-20T02:45:20Z)
• Communication Efficient Distributed Learning over Wireless Channels [35.90632878033643]
  垂直分散学習は、複数の学習従事者が収集した局所的特徴を利用して、より良いグローバルモデルを形成する。 本研究では,各作業者が局所観測データの低次元埋め込みを個別に学習する階層型分散学習フレームワークを提案する。 提案した学習フレームワークは,学習者の生出力の結合を利用して,学習モデルとほぼ同一のモデル精度を達成可能であることを示す。
  論文  参考訳（メタデータ） (2022-09-04T19:41:21Z)
• A Machine Learning Framework for Distributed Functional Compression over Wireless Channels in IoT [13.385373310554327]
  IoTデバイスは巨大なデータを生成し、最先端の機械学習技術を組み合わせてサイバー物理システムに革命をもたらす。 トレーニングや推論のためにデータを中央の場所に転送することに集中する従来のクラウドベースの手法は、ネットワークリソースに大きな負担をかけます。 我々は,GMAC(Gaussian Multiple Access Channel)とAWGN(AWGN)の両方で分散関数圧縮を行う最初の機械学習フレームワークを開発する。
  論文  参考訳（メタデータ） (2022-01-24T06:38:39Z)
• Collaborative Learning over Wireless Networks: An Introductory Overview [84.09366153693361]
  主に、ワイヤレスデバイス間の協調トレーニングに焦点を合わせます。 過去数十年間、多くの分散最適化アルゴリズムが開発されてきた。 データ局所性 – すなわち、各参加デバイスで利用可能なデータがローカルのままである間、共同モデルを協調的にトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-12-07T20:15:39Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• Federated Self-Supervised Learning of Multi-Sensor Representations for Embedded Intelligence [8.110949636804772]
  スマートフォン、ウェアラブル、IoT(Internet of Things)デバイスは、教師付きモデルを学習するための集中リポジトリに蓄積できない豊富なデータを生成する。 本稿では,ウェーブレット変換に基づくテキストカルグラム・信号対応学習という自己教師付きアプローチを提案し,ラベルなしセンサ入力から有用な表現を学習する。 さまざまなパブリックデータセットのマルチビュー戦略を用いて,学習機能の品質を広範囲に評価し,すべての領域で高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2020-07-25T21:59:17Z)
• A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
  フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。 本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
  論文  参考訳（メタデータ） (2020-03-18T05:56:27Z)
• Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
  フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。 本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。 その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
  論文  参考訳（メタデータ） (2020-03-07T11:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。