論文の概要: Now that I can see, I can improve: Enabling data-driven finetuning of CNNs on the edge

• arxiv url: http://arxiv.org/abs/2006.08554v1
• Date: Mon, 15 Jun 2020 17:16:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 03:31:45.715823
• Title: Now that I can see, I can improve: Enabling data-driven finetuning of CNNs on the edge
• Title（参考訳）: データ駆動によるCNNの微調整をエッジ上で実現します。
• Authors: Aditya Rajagopal, Christos-Savvas Bouganis
• Abstract要約: 本稿では,構造化プルーニングに基づくエッジデバイス上でCNNの微調整を可能にするための第一歩を提供する。 パフォーマンスの向上とコストについて検討し、そのようなアプローチの展開を可能にするオープンソースフレームワークを提示する。
• 参考スコア（独自算出の注目度）: 11.789983276366987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In today's world, a vast amount of data is being generated by edge devices that can be used as valuable training data to improve the performance of machine learning algorithms in terms of the achieved accuracy or to reduce the compute requirements of the model. However, due to user data privacy concerns as well as storage and communication bandwidth limitations, this data cannot be moved from the device to the data centre for further improvement of the model and subsequent deployment. As such there is a need for increased edge intelligence, where the deployed models can be fine-tuned on the edge, leading to improved accuracy and/or reducing the model's workload as well as its memory and power footprint. In the case of Convolutional Neural Networks (CNNs), both the weights of the network as well as its topology can be tuned to adapt to the data that it processes. This paper provides a first step towards enabling CNN finetuning on an edge device based on structured pruning. It explores the performance gains and costs of doing so and presents an extensible open-source framework that allows the deployment of such approaches on a wide range of network architectures and devices. The results show that on average, data-aware pruning with retraining can provide 10.2pp increased accuracy over a wide range of subsets, networks and pruning levels with a maximum improvement of 42.0pp over pruning and retraining in a manner agnostic to the data being processed by the network.
• Abstract（参考訳）: 今日の世界では、達成された精度で機械学習アルゴリズムのパフォーマンスを向上させるために、あるいはモデルの計算要求を減らすために、貴重なトレーニングデータとして使用できるエッジデバイスによって大量のデータが生成される。 しかしながら、ユーザデータのプライバシの懸念とストレージや通信帯域幅の制限のため、モデルの改善とその後のデプロイメントのために、このデータはデバイスからデータセンタに移動することはできない。 そのため、エッジインテリジェンスの向上が必要であり、デプロイされたモデルをエッジに微調整することで、精度の向上と/またはモデルのワークロードの削減、メモリと電力フットプリントの削減につながる。 畳み込みニューラルネットワーク(CNN)の場合、ネットワークの重みとトポロジの両方を調整して、処理するデータに適応させることができる。 本稿では,構造的プルーニングに基づくエッジデバイス上でcnnの微調整を可能にするための第一歩を提案する。 パフォーマンスの向上とコストについて検討し、幅広いネットワークアーキテクチャやデバイスにそのようなアプローチを展開可能な拡張可能なオープンソースフレームワークを提示している。 その結果, ネットワークが処理するデータに依存しない方法で, ネットワーク, ネットワーク, プルーニングレベルに対して平均10.2ppの精度向上を実現し, プルーニングおよび再トレーニングよりも最大42.0ppの精度向上を実現した。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Toward Efficient Convolutional Neural Networks With Structured Ternary Patterns [1.1965844936801797]
  畳み込みニューラルネットワーク(ConvNets)は、ローカルデバイスリソースに厳しい要求を課す。 本稿では,静的畳み込みフィルタを用いて効率的なConvNetアーキテクチャの設計を行う。
  論文  参考訳（メタデータ） (2024-07-20T10:18:42Z)
• A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
  トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。 ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。 結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
  論文  参考訳（メタデータ） (2023-08-28T14:19:13Z)
• Dataset Quantization [72.61936019738076]
  大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
  論文  参考訳（メタデータ） (2023-08-21T07:24:29Z)
• Benchmarking Test-Time Unsupervised Deep Neural Network Adaptation on Edge Devices [19.335535517714703]
  エッジへの展開後のディープニューラルネットワーク(DNN)の予測精度は、新しいデータの分布の変化によって、時間とともに低下する可能性がある。 バッチ正規化パラメータを再調整することにより、ノイズデータに対するモデルの予測精度を向上させるため、近年の予測時間非教師なしDNN適応技術が導入されている。 本論文は, 各種エッジデバイスの性能とエネルギーを定量化するために, この種の技術に関する総合的な研究を初めて行ったものである。
  論文  参考訳（メタデータ） (2022-03-21T19:10:40Z)
• EffCNet: An Efficient CondenseNet for Image Classification on NXP BlueBox [0.0]
  エッジデバイスは、安価なハードウェアと限られた冷却と計算資源のために、限られた処理能力を提供する。 我々はエッジデバイスのためのEffCNetと呼ばれる新しいディープ畳み込みニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-11-28T21:32:31Z)
• perf4sight: A toolflow to model CNN training performance on Edge GPUs [16.61258138725983]
  この研究は、CNNのトレーニングメモリフットプリントとレイテンシを予測する正確なモデルを開発するための自動化手法であるperf4sightを提案する。 フレームワークはPyTorch、ターゲットデバイスはNVIDIA Jetson TX2、それぞれ95%と91%の精度でトレーニングメモリフットプリントとレイテンシを予測する。
  論文  参考訳（メタデータ） (2021-08-12T07:55:37Z)
• Training Robust Graph Neural Networks with Topology Adaptive Edge Dropping [116.26579152942162]
  グラフニューラルネットワーク(GNN)は、グラフ構造情報を利用してネットワークデータから表現をモデル化する処理アーキテクチャである。 彼らの成功にもかかわらず、GNNは限られた訓練データから得られる準最適一般化性能に悩まされている。 本稿では、一般化性能を改善し、堅牢なGNNモデルを学習するためのトポロジ適応エッジドロップ法を提案する。
  論文  参考訳（メタデータ） (2021-06-05T13:20:36Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework [56.57225686288006]
  モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。 従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。 プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-13T23:52:03Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。