論文の概要: Partial Variable Training for Efficient On-Device Federated Learning

• arxiv url: http://arxiv.org/abs/2110.05607v1
• Date: Mon, 11 Oct 2021 20:57:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-13 15:31:22.593908
• Title: Partial Variable Training for Efficient On-Device Federated Learning
• Title（参考訳）: 効果的なオンデバイスフェデレーション学習のための部分変数学習
• Authors: Tien-Ju Yang, Dhruv Guliani, Fran\c{c}oise Beaufays, Giovanni Motta
• Abstract要約: 本稿では,メモリ使用量と通信コストを削減するため,エッジデバイス上の少数の変数のみをトレーニングする「部分変数学習(PVT)」手法を提案する。 音声認識と2つの異なるデータセットのための2つの最先端ニューラルネットワークの実験によると、PVTはメモリ使用量を最大1.9$times$、通信コストを最大593$times$に削減できる。
• 参考スコア（独自算出の注目度）: 3.884530687475797
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper aims to address the major challenges of Federated Learning (FL) on edge devices: limited memory and expensive communication. We propose a novel method, called Partial Variable Training (PVT), that only trains a small subset of variables on edge devices to reduce memory usage and communication cost. With PVT, we show that network accuracy can be maintained by utilizing more local training steps and devices, which is favorable for FL involving a large population of devices. According to our experiments on two state-of-the-art neural networks for speech recognition and two different datasets, PVT can reduce memory usage by up to 1.9$\times$ and communication cost by up to 593$\times$ while attaining comparable accuracy when compared with full network training.
• Abstract（参考訳）: 本稿では,エッジデバイスにおける連合学習(federated learning:fl)の課題,すなわちメモリの制限と通信コストの削減について述べる。 本稿では,メモリ使用量と通信コストを削減するため,エッジデバイス上の少数の変数のみをトレーニングする「部分変数学習(PVT)」手法を提案する。 PVTでは、多くのデバイスを含むFLに好適な、よりローカルなトレーニングステップやデバイスを利用することで、ネットワークの精度を維持することができることを示す。 音声認識のための最先端の2つのニューラルネットワークと2つの異なるデータセットに関する実験によれば、pvtはメモリ使用量を最大1.9$\times$と通信コストを最大593$\times$と削減し、完全なネットワークトレーニングと比較して同等の精度を得ることができます。

関連論文リスト

• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• UniPT: Universal Parallel Tuning for Transfer Learning with Efficient Parameter and Memory [69.33445217944029]
  PETLは、トレーニング済みモデルを下流ドメインに適応するための効果的な戦略である。 最近のPETLは、より価値の高いメモリ効率特性に焦点を当てている。 メモリ効率の良い新しいPETL戦略Universal Parallel Tuning (UniPT)を提案する。
  論文  参考訳（メタデータ） (2023-08-28T05:38:43Z)
• TinyTrain: Resource-Aware Task-Adaptive Sparse Training of DNNs at the Data-Scarce Edge [27.533985670823945]
  TinyTrainは、モデルの一部を選択的に更新することで、トレーニング時間を劇的に短縮するオンデバイストレーニングアプローチである。 TinyTrainはネットワーク全体のバニラ微調整を3.6-5.0%精度で上回る。 9.5倍の高速化と3.5倍のエネルギー効率のトレーニングを実現している。
  論文  参考訳（メタデータ） (2023-07-19T13:49:12Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)
• Efficient and Private Federated Learning with Partially Trainable Networks [8.813191488656527]
  我々は、トレーニングプロセス全体において、モデルパラメータの一部を凍結する部分トレーニング可能なニューラルネットワークを活用することを提案する。 FedPT(Partially Trainable Neural Network)のフェデレート学習が,通信精度のトレードオフに優れた結果をもたらすことを実証的に示す。 このアプローチでは、より高速なトレーニング、メモリフットプリントの削減、強力な差分プライバシー保証のためのユーティリティも実現しています。
  論文  参考訳（メタデータ） (2021-10-06T04:28:33Z)
• Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
  フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。 本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。 その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
  論文  参考訳（メタデータ） (2020-03-07T11:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。