論文の概要: Low-Cost On-device Partial Domain Adaptation (LoCO-PDA): Enabling
efficient CNN retraining on edge devices
- arxiv url: http://arxiv.org/abs/2203.00772v1
- Date: Tue, 1 Mar 2022 22:26:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-04 08:18:05.957743
- Title: Low-Cost On-device Partial Domain Adaptation (LoCO-PDA): Enabling
efficient CNN retraining on edge devices
- Title(参考訳): ローコストオンデバイス部分ドメイン適応(loco-pda) : エッジデバイスでの効率的なcnnリトレーニングを可能にする
- Authors: Aditya Rajagopal, Christos-Savvas Bouganis
- Abstract要約: 観測されたデータ分布にネットワークを適応させないと、負の転送による性能劣化が発生する。
LoCO-PDAは、エッジデバイス上で再トレーニングできるようにして、デプロイされたネットワークを観測データ分散に適応させる。
ILSVRC12データセットのサブセット全体で、LoCO-PDAはメモリ使用量の最大15.1倍の削減を実現しつつ、平均で3.04ppの分類精度を向上させる。
- 参考スコア(独自算出の注目度): 11.789983276366987
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the increased deployment of Convolutional Neural Networks (CNNs) on edge
devices, the uncertainty of the observed data distribution upon deployment has
led researchers to to utilise large and extensive datasets such as ILSVRC'12 to
train CNNs. Consequently, it is likely that the observed data distribution upon
deployment is a subset of the training data distribution. In such cases, not
adapting a network to the observed data distribution can cause performance
degradation due to negative transfer and alleviating this is the focus of
Partial Domain Adaptation (PDA). Current works targeting PDA do not focus on
performing the domain adaptation on an edge device, adapting to a changing
target distribution or reducing the cost of deploying the adapted network. This
work proposes a novel PDA methodology that targets all of these directions and
opens avenues for on-device PDA. LoCO-PDA adapts a deployed network to the
observed data distribution by enabling it to be retrained on an edge device.
Across subsets of the ILSVRC12 dataset, LoCO-PDA improves classification
accuracy by 3.04pp on average while achieving up to 15.1x reduction in
retraining memory consumption and 2.07x improvement in inference latency on the
NVIDIA Jetson TX2. The work is open-sourced at \emph{link removed for
anonymity}.
- Abstract(参考訳): エッジデバイスへの畳み込みニューラルネットワーク(convolutional neural network, cnns)のデプロイの増加に伴い、デプロイ時の観測データ分布の不確実性が高まり、ilsvrc'12のような大規模で広範なデータセットを使用してcnnをトレーニングすることが可能になった。
したがって、デプロイ時の観測データ分布は、トレーニングデータ分布のサブセットである可能性が高い。
このような場合、ネットワークを観測データ分布に適応させないと、負の転送による性能低下が生じ、これは部分領域適応(pda)の焦点である。
PDAをターゲットとする現在の作業は、エッジデバイス上でのドメイン適応の実行、ターゲット分布の変化への適応、あるいは適応されたネットワークのデプロイコストの削減に重点を置いていない。
本研究は,これらすべての方向を対象とし,デバイス上でPDAを行うための新たなPDA手法を提案する。
LoCO-PDAは、エッジデバイス上で再トレーニングできるようにして、デプロイされたネットワークを観測データ分散に適応させる。
ILSVRC12データセットのサブセット全体で、LoCO-PDAは平均で3.04ppの分類精度を改善し、メモリ再トレーニングの最大15.1倍の削減とNVIDIA Jetson TX2の推論遅延の2.07倍の改善を実現している。
この仕事は、匿名性のために削除された \emph{link} でオープンソースである。
関連論文リスト
- Post-Deployment Adaptation with Access to Source Data via Federated
Learning and Source-Target Remote Gradient Alignment [8.288631856590165]
デプロイ後適応(PDA)は、トレーニング済みのデプロイされたモデルをターゲットデータディストリビューションに調整することで、この問題に対処する。
PDAは、プライバシ上の懸念から、モデルでデプロイできないため、ソーストレーニングデータへのアクセスを前提としない。
本稿では,フェデレートラーニングの遠隔データからPDAに学習の有用性をもたらす新しい適応フレームワークであるFedPDAを紹介する。
論文 参考訳(メタデータ) (2023-08-31T13:52:28Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-04T04:18:01Z) - Collaborative Learning with a Drone Orchestrator [79.75113006257872]
インテリジェントな無線デバイス群は、ドローンの助けを借りて共有ニューラルネットワークモデルを訓練する。
提案したフレームワークは,トレーニングの大幅な高速化を実現し,ドローンホバリング時間の平均24%と87%の削減を実現している。
論文 参考訳(メタデータ) (2023-03-03T23:46:25Z) - Federated Learning for Energy-limited Wireless Networks: A Partial Model
Aggregation Approach [79.59560136273917]
デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである
まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。
提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
論文 参考訳(メタデータ) (2022-04-20T19:09:52Z) - Benchmarking Test-Time Unsupervised Deep Neural Network Adaptation on
Edge Devices [19.335535517714703]
エッジへの展開後のディープニューラルネットワーク(DNN)の予測精度は、新しいデータの分布の変化によって、時間とともに低下する可能性がある。
バッチ正規化パラメータを再調整することにより、ノイズデータに対するモデルの予測精度を向上させるため、近年の予測時間非教師なしDNN適応技術が導入されている。
本論文は, 各種エッジデバイスの性能とエネルギーを定量化するために, この種の技術に関する総合的な研究を初めて行ったものである。
論文 参考訳(メタデータ) (2022-03-21T19:10:40Z) - Federated Dynamic Sparse Training: Computing Less, Communicating Less,
Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。
我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。
FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文 参考訳(メタデータ) (2021-12-18T02:26:38Z) - Distribution-sensitive Information Retention for Accurate Binary Neural
Network [49.971345958676196]
本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。
我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。
我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
論文 参考訳(メタデータ) (2021-09-25T10:59:39Z) - Sparse-Push: Communication- & Energy-Efficient Decentralized Distributed
Learning over Directed & Time-Varying Graphs with non-IID Datasets [2.518955020930418]
Sparse-Pushはコミュニケーション効率の高い分散型トレーニングアルゴリズムである。
提案アルゴリズムは,通信性能がわずか1%の466倍の低減を実現する。
非IIDデータセットのケースにおいて,通信圧縮が性能を著しく低下させることを示す。
論文 参考訳(メタデータ) (2021-02-10T19:41:11Z) - Now that I can see, I can improve: Enabling data-driven finetuning of
CNNs on the edge [11.789983276366987]
本稿では,構造化プルーニングに基づくエッジデバイス上でCNNの微調整を可能にするための第一歩を提供する。
パフォーマンスの向上とコストについて検討し、そのようなアプローチの展開を可能にするオープンソースフレームワークを提示する。
論文 参考訳(メタデータ) (2020-06-15T17:16:45Z) - Binary DAD-Net: Binarized Driveable Area Detection Network for
Autonomous Driving [94.40107679615618]
本稿では,二項化駆動型領域検出ネットワーク(バイナリDAD-Net)を提案する。
エンコーダ、ボトルネック、デコーダ部分の2重みとアクティベーションのみを使用する。
パブリックデータセット上で、最先端のセマンティックセグメンテーションネットワークより優れています。
論文 参考訳(メタデータ) (2020-06-15T07:09:01Z) - D2D-Enabled Data Sharing for Distributed Machine Learning at Wireless
Network Edge [6.721448732174383]
モバイルエッジ学習は、分散エッジデバイスが共有機械学習モデルのトレーニングで協力することを可能にする新興技術である。
本稿では,異なるエッジデバイスが通信リンクを介してデータサンプルを相互に共有する,新しいデバイスによるデータ共有手法を提案する。
数値的な結果から,提案したデータ共有設計はトレーニング遅延を著しく低減し,データサンプルが非独立で,エッジデバイス間で同一に分散している場合のトレーニング精度も向上することが示された。
論文 参考訳(メタデータ) (2020-01-28T01:49:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。