論文の概要: Low-Cost On-device Partial Domain Adaptation (LoCO-PDA): Enabling efficient CNN retraining on edge devices

• arxiv url: http://arxiv.org/abs/2203.00772v1
• Date: Tue, 1 Mar 2022 22:26:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-04 08:18:05.957743
• Title: Low-Cost On-device Partial Domain Adaptation (LoCO-PDA): Enabling efficient CNN retraining on edge devices
• Title（参考訳）: ローコストオンデバイス部分ドメイン適応(loco-pda) : エッジデバイスでの効率的なcnnリトレーニングを可能にする
• Authors: Aditya Rajagopal, Christos-Savvas Bouganis
• Abstract要約: 観測されたデータ分布にネットワークを適応させないと、負の転送による性能劣化が発生する。 LoCO-PDAは、エッジデバイス上で再トレーニングできるようにして、デプロイされたネットワークを観測データ分散に適応させる。 ILSVRC12データセットのサブセット全体で、LoCO-PDAはメモリ使用量の最大15.1倍の削減を実現しつつ、平均で3.04ppの分類精度を向上させる。
• 参考スコア（独自算出の注目度）: 11.789983276366987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the increased deployment of Convolutional Neural Networks (CNNs) on edge devices, the uncertainty of the observed data distribution upon deployment has led researchers to to utilise large and extensive datasets such as ILSVRC'12 to train CNNs. Consequently, it is likely that the observed data distribution upon deployment is a subset of the training data distribution. In such cases, not adapting a network to the observed data distribution can cause performance degradation due to negative transfer and alleviating this is the focus of Partial Domain Adaptation (PDA). Current works targeting PDA do not focus on performing the domain adaptation on an edge device, adapting to a changing target distribution or reducing the cost of deploying the adapted network. This work proposes a novel PDA methodology that targets all of these directions and opens avenues for on-device PDA. LoCO-PDA adapts a deployed network to the observed data distribution by enabling it to be retrained on an edge device. Across subsets of the ILSVRC12 dataset, LoCO-PDA improves classification accuracy by 3.04pp on average while achieving up to 15.1x reduction in retraining memory consumption and 2.07x improvement in inference latency on the NVIDIA Jetson TX2. The work is open-sourced at \emph{link removed for anonymity}.
• Abstract（参考訳）: エッジデバイスへの畳み込みニューラルネットワーク(convolutional neural network, cnns)のデプロイの増加に伴い、デプロイ時の観測データ分布の不確実性が高まり、ilsvrc'12のような大規模で広範なデータセットを使用してcnnをトレーニングすることが可能になった。 したがって、デプロイ時の観測データ分布は、トレーニングデータ分布のサブセットである可能性が高い。 このような場合、ネットワークを観測データ分布に適応させないと、負の転送による性能低下が生じ、これは部分領域適応(pda)の焦点である。 PDAをターゲットとする現在の作業は、エッジデバイス上でのドメイン適応の実行、ターゲット分布の変化への適応、あるいは適応されたネットワークのデプロイコストの削減に重点を置いていない。 本研究は,これらすべての方向を対象とし,デバイス上でPDAを行うための新たなPDA手法を提案する。 LoCO-PDAは、エッジデバイス上で再トレーニングできるようにして、デプロイされたネットワークを観測データ分散に適応させる。 ILSVRC12データセットのサブセット全体で、LoCO-PDAは平均で3.04ppの分類精度を改善し、メモリ再トレーニングの最大15.1倍の削減とNVIDIA Jetson TX2の推論遅延の2.07倍の改善を実現している。 この仕事は、匿名性のために削除された \emph{link} でオープンソースである。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Adversarial Reweighting with $α$-Power Maximization for Domain Adaptation [56.859005008344276]
  我々は、$alpha$-Power Maximization (ARPM) を用いたAdversarial Reweightingと呼ばれる新しいアプローチを提案する。 本稿では,ソースプライマリなクラスサンプルを特定するために,逆向きにソースドメインデータを再重み付けすることを学習する,新しい逆方向再重み付けモデルを提案する。 提案手法は最近のPDA法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-26T09:29:55Z)
• CODA: A COst-efficient Test-time Domain Adaptation Mechanism for HAR [25.606795179822885]
  モバイルセンシングのためのCOst- efficient Domain Adaptation 機構であるCODAを提案する。 CODAは、データ分散の観点からのリアルタイムドリフトにアクティブラーニング理論を用いて対処する。 我々はCODAによるオンライン適応の可能性と可能性を実証する。
  論文  参考訳（メタデータ） (2024-03-22T02:50:42Z)
• Post-Deployment Adaptation with Access to Source Data via Federated Learning and Source-Target Remote Gradient Alignment [8.288631856590165]
  デプロイ後適応(PDA)は、トレーニング済みのデプロイされたモデルをターゲットデータディストリビューションに調整することで、この問題に対処する。 PDAは、プライバシ上の懸念から、モデルでデプロイできないため、ソーストレーニングデータへのアクセスを前提としない。 本稿では,フェデレートラーニングの遠隔データからPDAに学習の有用性をもたらす新しい適応フレームワークであるFedPDAを紹介する。
  論文  参考訳（メタデータ） (2023-08-31T13:52:28Z)
• Federated Learning for Energy-limited Wireless Networks: A Partial Model Aggregation Approach [79.59560136273917]
  デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。 提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
  論文  参考訳（メタデータ） (2022-04-20T19:09:52Z)
• Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
  Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。 我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
  論文  参考訳（メタデータ） (2021-12-18T02:26:38Z)
• Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
  本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。 我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。 我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
  論文  参考訳（メタデータ） (2021-09-25T10:59:39Z)
• Sparse-Push: Communication- & Energy-Efficient Decentralized Distributed Learning over Directed & Time-Varying Graphs with non-IID Datasets [2.518955020930418]
  Sparse-Pushはコミュニケーション効率の高い分散型トレーニングアルゴリズムである。 提案アルゴリズムは,通信性能がわずか1%の466倍の低減を実現する。 非IIDデータセットのケースにおいて,通信圧縮が性能を著しく低下させることを示す。
  論文  参考訳（メタデータ） (2021-02-10T19:41:11Z)
• Now that I can see, I can improve: Enabling data-driven finetuning of CNNs on the edge [11.789983276366987]
  本稿では,構造化プルーニングに基づくエッジデバイス上でCNNの微調整を可能にするための第一歩を提供する。 パフォーマンスの向上とコストについて検討し、そのようなアプローチの展開を可能にするオープンソースフレームワークを提示する。
  論文  参考訳（メタデータ） (2020-06-15T17:16:45Z)
• Binary DAD-Net: Binarized Driveable Area Detection Network for Autonomous Driving [94.40107679615618]
  本稿では,二項化駆動型領域検出ネットワーク(バイナリDAD-Net)を提案する。 エンコーダ、ボトルネック、デコーダ部分の2重みとアクティベーションのみを使用する。 パブリックデータセット上で、最先端のセマンティックセグメンテーションネットワークより優れています。
  論文  参考訳（メタデータ） (2020-06-15T07:09:01Z)
• D2D-Enabled Data Sharing for Distributed Machine Learning at Wireless Network Edge [6.721448732174383]
  モバイルエッジ学習は、分散エッジデバイスが共有機械学習モデルのトレーニングで協力することを可能にする新興技術である。 本稿では,異なるエッジデバイスが通信リンクを介してデータサンプルを相互に共有する,新しいデバイスによるデータ共有手法を提案する。 数値的な結果から,提案したデータ共有設計はトレーニング遅延を著しく低減し,データサンプルが非独立で,エッジデバイス間で同一に分散している場合のトレーニング精度も向上することが示された。
  論文  参考訳（メタデータ） (2020-01-28T01:49:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。