Fugu-MT 論文翻訳(概要): Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation under Non-IID Private Data

論文の概要: Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation under Non-IID Private Data

arxiv url: http://arxiv.org/abs/1811.11479v2
Date: Thu, 19 Oct 2023 14:11:11 GMT
ステータス: 処理完了
システム内更新日: 2023-10-20 21:38:02.444258
Title: Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation under Non-IID Private Data
Title（参考訳）: 通信効率の良いオンデバイス機械学習:非IIDプライベートデータに基づくフェデレーションと拡張
Authors: Eunjeong Jeong, Seungeun Oh, Hyesung Kim, Jihong Park, Mehdi Bennis, and Seong-Lyun Kim
Abstract要約: オンデバイス機械学習(ML)により、トレーニングプロセスは大量のユーザ生成プライベートデータサンプルを利用することができる。分散モデル学習アルゴリズムであるフェデレート蒸留(FD)を提案する。 FAug を用いた FD は FL と比較して 95-98% の精度で通信オーバヘッドの約26倍の低下を示した。
参考スコア（独自算出の注目度）: 31.85853956347045
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: On-device machine learning (ML) enables the training process to exploit a massive amount of user-generated private data samples. To enjoy this benefit, inter-device communication overhead should be minimized. With this end, we propose federated distillation (FD), a distributed model training algorithm whose communication payload size is much smaller than a benchmark scheme, federated learning (FL), particularly when the model size is large. Moreover, user-generated data samples are likely to become non-IID across devices, which commonly degrades the performance compared to the case with an IID dataset. To cope with this, we propose federated augmentation (FAug), where each device collectively trains a generative model, and thereby augments its local data towards yielding an IID dataset. Empirical studies demonstrate that FD with FAug yields around 26x less communication overhead while achieving 95-98% test accuracy compared to FL.
Abstract（参考訳）: オンデバイス機械学習(ML)により、トレーニングプロセスは大量のユーザ生成プライベートデータサンプルを利用することができる。このメリットを享受するには、デバイス間通信のオーバーヘッドを最小限にする必要がある。そこで本研究では,FD (Federated distillation) を提案する。この分散モデルトレーニングアルゴリズムは,通信ペイロードのサイズがベンチマーク方式よりもはるかに小さく,特にモデルサイズが大きい場合,FL (Federated Learning) である。さらに、ユーザ生成データサンプルはデバイス間で非IIDになりがちであり、IIDデータセットと比較して一般的にパフォーマンスが低下する。これに対応するために、各デバイスが一括して生成モデルを訓練するフェデレーション強化(FAug)を提案し、その結果、そのローカルデータをIDデータセットの取得に向けて拡張する。実験の結果、fdはflと比較して95-98%の精度で通信オーバーヘッドが約26倍小さいことが示されている。

関連論文リスト

Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文参考訳（メタデータ） (2023-08-04T04:18:01Z)
Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
論文参考訳（メタデータ） (2023-05-20T07:55:58Z)
Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
論文参考訳（メタデータ） (2022-09-01T03:27:33Z)
FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文参考訳（メタデータ） (2022-07-20T04:55:18Z)
Learnings from Federated Learning in the Real world [19.149989896466852]
実世界のデータに適用されるフェデレートラーニング(FL)は、いくつかの慣用性に悩まされることがある。デバイスにまたがるデータは、大量のデータを持つ"重いデバイス"がいくつか存在する一方で、少数のデータポイントしか持たない"軽量ユーザ"が多数存在するように分散することができる。 FLを用いて学習した自然言語理解モデル(NLU)に対する,このような慣用句の影響を評価した。
論文参考訳（メタデータ） (2022-02-08T15:21:31Z)
FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
論文参考訳（メタデータ） (2021-07-01T06:14:51Z)
Distillation-Based Semi-Supervised Federated Learning for Communication-Efficient Collaborative Training with Non-IID Private Data [8.935169114460663]
本研究では,主にインクリメンタルなコミュニケーションコストを克服するフェデレートラーニング(FL)フレームワークを開発する。モバイル端末間でローカルモデルの出力を交換する蒸留に基づく半教師付きFLアルゴリズムを提案する。 DS-FLでは、通信コストはモデルの出力次元にのみ依存し、モデルサイズに応じてスケールアップしない。
論文参考訳（メタデータ） (2020-08-14T03:47:27Z)
Training Keyword Spotting Models on Non-IID Data with Federated Learning [6.784774147680782]
そこで本研究では,フェデレート学習を用いて,高品質なキーワードスポッティングモデルをデバイス上でトレーニング可能であることを示す。デバイス上のデータの適合に関するアルゴリズム上の制約を克服するため、最適化アルゴリズムの徹底的な実験研究を行う。教師と学生のトレーニングを調査するために、サンプル(デバイス上のデータにゼロ可視性を持たせること)をラベル付けします。
論文参考訳（メタデータ） (2020-05-21T00:53:33Z)
Federated Visual Classification with Real-World Data Distribution [9.564468846277366]
我々は,FedAvg(Federated Averaging)アルゴリズムのベンチマークを用いて,実世界のデータ分布が分散学習に与える影響を特徴付ける。種別とランドマーク分類のための2つの新しい大規模データセットを導入し,ユーザ毎のデータ分割を現実的に行う。また、2つの新しいアルゴリズム(FedVC、FedIR)も開発しています。
論文参考訳（メタデータ） (2020-03-18T07:55:49Z)
Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文参考訳（メタデータ） (2020-03-07T11:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。