論文の概要: An On-Device Federated Learning Approach for Cooperative Model Update
between Edge Devices
- arxiv url: http://arxiv.org/abs/2002.12301v5
- Date: Sun, 27 Jun 2021 14:59:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 08:15:34.877458
- Title: An On-Device Federated Learning Approach for Cooperative Model Update
between Edge Devices
- Title（参考訳）: エッジデバイス間の協調モデル更新のためのオンデバイス連合学習手法
- Authors: Rei Ito, Mineto Tsukada, Hiroki Matsutani
- Abstract要約: エッジデバイスが実行時に入力データをトレーニングしてモデルを更新するように、オンデバイス学習に基づくニューラルネットワークアプローチが最近提案されている。
本稿では,OS-ELMに着目して,最近のサンプルに基づいてモデルを逐次訓練し,異常検出のためのオートエンコーダと組み合わせる。
デバイス上でのフェデレーション学習のために拡張し、エッジデバイスがトレーニングされた結果を交換し、他のエッジデバイスから収集したデータを使用してモデルを更新できるようにします。
- 参考スコア（独自算出の注目度）: 2.99321624683618
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most edge AI focuses on prediction tasks on resource-limited edge devices
while the training is done at server machines. However, retraining or
customizing a model is required at edge devices as the model is becoming
outdated due to environmental changes over time. To follow such a concept
drift, a neural-network based on-device learning approach is recently proposed,
so that edge devices train incoming data at runtime to update their model. In
this case, since a training is done at distributed edge devices, the issue is
that only a limited amount of training data can be used for each edge device.
To address this issue, one approach is a cooperative learning or federated
learning, where edge devices exchange their trained results and update their
model by using those collected from the other devices. In this paper, as an
on-device learning algorithm, we focus on OS-ELM (Online Sequential Extreme
Learning Machine) to sequentially train a model based on recent samples and
combine it with autoencoder for anomaly detection. We extend it for an
on-device federated learning so that edge devices can exchange their trained
results and update their model by using those collected from the other edge
devices. This cooperative model update is one-shot while it can be repeatedly
applied to synchronize their model. Our approach is evaluated with anomaly
detection tasks generated from a driving dataset of cars, a human activity
dataset, and MNIST dataset. The results demonstrate that the proposed on-device
federated learning can produce a merged model by integrating trained results
from multiple edge devices as accurately as traditional backpropagation based
neural networks and a traditional federated learning approach with lower
computation or communication cost.
- Abstract（参考訳）: ほとんどのエッジAIは、トレーニングがサーバマシンで行われる間、リソース制限されたエッジデバイス上の予測タスクに焦点を当てている。
しかし,環境変化によりモデルが時代遅れになりつつあるため,エッジデバイスではモデルの再トレーニングやカスタマイズが求められている。
このようなコンセプトドリフトに従うために、最近、デバイス上で学習するアプローチに基づくニューラルネットワークが提案され、エッジデバイスが実行時に入力データをトレーニングしてモデルを更新する。
この場合、トレーニングは分散エッジデバイスで行われるため、エッジデバイス毎に限られた量のトレーニングデータしか使用できない。
この問題に対処する方法として、エッジデバイスがトレーニングされた結果を交換し、他のデバイスから収集したデータを使用してモデルを更新する、協調学習あるいは連合学習がある。
本稿では、デバイス上での学習アルゴリズムとして、OS-ELM(Online Sequential Extreme Learning Machine)に着目し、最近のサンプルに基づいてモデルを逐次訓練し、異常検出のためのオートエンコーダと組み合わせる。
デバイス上でのフェデレーション学習のために拡張し、エッジデバイスがトレーニング結果を交換できるようにし、他のエッジデバイスから収集したデータを使用してモデルを更新します。
この協調モデル更新はワンショットであり、モデルの同期に繰り返し適用することができる。
本手法は,車両の運転データセット,人間の活動データセット,MNISTデータセットから生成される異常検出タスクを用いて評価する。
提案したデバイス上でのフェデレーション学習は,従来のバックプロパゲーションベースニューラルネットワークや,より低い計算や通信コストの従来のフェデレーション学習アプローチと同等の精度で,複数のエッジデバイスからトレーニングされた結果を統合することで,マージモデルを実現できることを示す。
関連論文リスト
- Efficient Asynchronous Federated Learning with Sparsification and
Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。
FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。
TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文 参考訳（メタデータ） (2023-12-23T07:47:07Z) - Unsupervised anomalies detection in IIoT edge devices networks using
federated learning [0.0]
分散機械学習アプローチとしてのフェデレーション学習(FL)は、データそのものを収集したデバイス上で、マシンラーニングモデルのトレーニングを実行する。
本稿では、最近のIoT/IIoTデバイスネットワークを表すデータセットにFLの利点を活用し、Fedavgアルゴリズムを実装した。
また,障害デバイスがトレーニングのすべての段階で参加していない場合,トレーニング中に発生する不公平さなど,Fedavgの欠点も評価した。
論文 参考訳（メタデータ） (2023-08-23T14:53:38Z) - Stochastic Coded Federated Learning: Theoretical Analysis and Incentive
Mechanism Design [18.675244280002428]
我々は、コード化されたコンピューティング技術を活用する新しいFLフレームワーク、コード付きフェデレーションラーニング(SCFL)を提案する。
SCFLでは、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。
SCFLは、与えられた時間内でより良いモデルを学び、ベースライン方式よりも優れたプライバシーとパフォーマンスのトレードオフを実現する。
論文 参考訳（メタデータ） (2022-11-08T09:58:36Z) - Knowledge Transfer For On-Device Speech Emotion Recognition with Neural
Structured Learning [19.220263739291685]
音声感情認識(SER)は、ヒューマン・コンピュータ・インタラクション(HCI)において人気のある研究トピックである。
合成グラフ構築によるニューラル構造化学習(NSL)フレームワークを提案する。
実験の結果,音声サンプルとグラフを用いた軽量SERモデルの訓練は,小さなSERモデルを生成するだけでなく,モデル性能を向上させることができることがわかった。
論文 参考訳（メタデータ） (2022-10-26T18:38:42Z) - Federated Split GANs [12.007429155505767]
ユーザデバイス自体でMLモデルをトレーニングするための代替手法を提案する。
我々は、GAN(ジェネレーティブ・逆境ネットワーク)に注目し、その固有のプライバシー保護属性を活用する。
我々のシステムはデータのプライバシを保ち、短時間のトレーニング時間を保ち、制約のないデバイスで同じ精度でモデルトレーニングを行う。
論文 参考訳（メタデータ） (2022-07-04T23:53:47Z) - Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized
Floating Aggregation Point [51.47520726446029]
協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。
CE-FLの過程をモデル化し,分析訓練を行った。
実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
論文 参考訳（メタデータ） (2022-03-26T00:41:57Z) - Federated Learning with Downlink Device Selection [92.14944020945846]
我々は,無線ネットワークのエッジにおいて,プライバシーに敏感なデータを用いてグローバルモデルを協調訓練するフェデレーションエッジ学習について検討した。
パラメータサーバ(PS)は、グローバルモデルを追跡し、無線エッジデバイスと共有して、プライベートローカルデータを使用したトレーニングを行う。
デバイス選択は、PSがデバイスとグローバルモデルを共有するダウンリンクチャネルに基づいて検討する。
論文 参考訳（メタデータ） (2021-07-07T22:42:39Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-26T14:37:51Z) - Information-Theoretic Bounds on the Generalization Error and Privacy
Leakage in Federated Learning [96.38757904624208]
モバイルネットワーク上の機械学習アルゴリズムは、3つのカテゴリに分類される。
この研究の主な目的は、前述のすべての学習パラダイムに対する情報理論のフレームワークを提供することである。
論文 参考訳（メタデータ） (2020-05-05T21:23:45Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。