論文の概要: Federated Action Recognition on Heterogeneous Embedded Devices
- arxiv url: http://arxiv.org/abs/2107.12147v1
- Date: Sun, 18 Jul 2021 02:33:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-01 11:04:46.033549
- Title: Federated Action Recognition on Heterogeneous Embedded Devices
- Title(参考訳): ヘテロジニアス組込みデバイスにおけるフェデレーション動作認識
- Authors: Pranjal Jain, Shreyas Goenka, Saurabh Bagchi, Biplab Banerjee, Somali
Chaterji
- Abstract要約: 本研究では,限られた計算能力を持つクライアントが行動認識を行うことを可能にする。
我々はまず,大規模なデータセットの知識蒸留を通じて,中央サーバでモデル圧縮を行う。
より小さなデータセットに存在する限られたデータは、アクション認識モデルが複雑な時間的特徴を学習するのに十分なものではないため、微調整が必要である。
- 参考スコア(独自算出の注目度): 16.88104153104136
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated learning allows a large number of devices to jointly learn a model
without sharing data. In this work, we enable clients with limited computing
power to perform action recognition, a computationally heavy task. We first
perform model compression at the central server through knowledge distillation
on a large dataset. This allows the model to learn complex features and serves
as an initialization for model fine-tuning. The fine-tuning is required because
the limited data present in smaller datasets is not adequate for action
recognition models to learn complex spatio-temporal features. Because the
clients present are often heterogeneous in their computing resources, we use an
asynchronous federated optimization and we further show a convergence bound. We
compare our approach to two baseline approaches: fine-tuning at the central
server (no clients) and fine-tuning using (heterogeneous) clients using
synchronous federated averaging. We empirically show on a testbed of
heterogeneous embedded devices that we can perform action recognition with
comparable accuracy to the two baselines above, while our asynchronous learning
strategy reduces the training time by 40%, relative to synchronous learning.
- Abstract(参考訳): フェデレーション学習は、データを共有することなく、多数のデバイスが共同でモデルを学ぶことを可能にする。
本研究では,限られた計算能力を持つクライアントが行動認識を行うことを可能にする。
まず,大規模データセット上で知識蒸留を行い,中央サーバでモデル圧縮を行う。
これにより、モデルは複雑な特徴を学習し、モデル微調整の初期化として機能する。
より小さなデータセットに存在する限られたデータは、アクション認識モデルが複雑な時空間的特徴を学ぶのに十分ではないため、微調整が必要である。
既存のクライアントは、コンピューティングリソースに不均一なことが多いため、非同期フェデレーション最適化を使用して、さらに収束境界を示します。
中央サーバでの微調整(クライアントなし)と同期フェデレーション平均化を用いた(ヘテロジェンスな)クライアントの微調整の2つのベースラインアプローチと比較した。
非同期学習戦略は、同期学習と比較してトレーニング時間を40%削減する一方、上述の2つのベースラインに匹敵する精度で動作認識を行うことができる異種組み込みデバイスのテストベッドを実証的に示す。
関連論文リスト
- FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous
Client Devices using a Computing Power Aware Scheduler [5.550660753625296]
クロスサイロフェデレーション学習は、ローカルデータセットのプライバシを損なうことなく、AIモデルを協調的にトレーニングする、有望なソリューションを提供する。
本稿では,サーバ側で計算パワースケジューラを組み込んだ,半同期型フェデレーション学習アルゴリズムを提案する。
上位クライアントでフェデレート学習を行う場合,Fedは他のアルゴリズムよりも高速な収束と精度を実現することを示す。
論文 参考訳(メタデータ) (2023-09-26T05:03:13Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Structured Cooperative Learning with Graphical Model Priors [98.53322192624594]
ローカルデータに制限のある分散デバイス上で、さまざまなタスクに対してパーソナライズされたモデルをトレーニングする方法を研究する。
本稿では,デバイス間の協調グラフをグラフィカルモデルにより生成する「構造化協調学習(SCooL)」を提案する。
SCooLを評価し,既存の分散学習手法と比較した。
論文 参考訳(メタデータ) (2023-06-16T02:41:31Z) - Deep Unfolding-based Weighted Averaging for Federated Learning in
Heterogeneous Environments [11.023081396326507]
フェデレートラーニング(Federated Learning)は、複数のクライアントによるモデル更新と、中央サーバによるアップデートの集約を反復する、協調的なモデルトレーニング手法である。
そこで本研究では, パラメータ調整法として, 深部展開法(deep unfolding)を用いる。
提案手法は,実世界の現実的なタスクを遂行できるような事前学習モデルを用いて,大規模学習モデルを扱うことができる。
論文 参考訳(メタデータ) (2022-12-23T08:20:37Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - Incremental Online Learning Algorithms Comparison for Gesture and Visual
Smart Sensors [68.8204255655161]
本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。
以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
論文 参考訳(メタデータ) (2022-09-01T17:05:20Z) - A Personalized Federated Learning Algorithm: an Application in Anomaly
Detection [0.6700873164609007]
フェデレートラーニング(FL)は、データプライバシと送信問題を克服する有望な方法として最近登場した。
FLでは、異なるデバイスやセンサーから収集されたデータセットを使用して、各学習を集中型モデル(サーバ)と共有するローカルモデル(クライアント)をトレーニングする。
本稿では,PC-FedAvg(Personalized FedAvg, PC-FedAvg)を提案する。
論文 参考訳(メタデータ) (2021-11-04T04:57:11Z) - FedKD: Communication Efficient Federated Learning via Knowledge
Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。
フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。
本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文 参考訳(メタデータ) (2021-08-30T15:39:54Z) - Real-time End-to-End Federated Learning: An Automotive Case Study [16.79939549201032]
本稿では,新しい非同期モデルアグリゲーションプロトコルと組み合わさったリアルタイムエンドツーエンドフェデレーション学習のアプローチを提案する。
その結果,非同期フェデレーション学習は,局所エッジモデルの予測性能を大幅に向上させ,集中型機械学習法と同じ精度に到達できることがわかった。
論文 参考訳(メタデータ) (2021-03-22T14:16:16Z) - Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。
この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文 参考訳(メタデータ) (2020-03-28T19:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。