論文の概要: Enabling Deep Learning on Edge Devices through Filter Pruning and Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2201.10947v1
• Date: Sat, 22 Jan 2022 00:27:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-27 13:36:08.306516
• Title: Enabling Deep Learning on Edge Devices through Filter Pruning and Knowledge Transfer
• Title（参考訳）: フィルタプルーニングと知識伝達によるエッジデバイスでのディープラーニングの実現
• Authors: Kaiqi Zhao, Yitao Chen, Ming Zhao
• Abstract要約: 本稿では,クラウドで訓練された大規模モデルから軽量なトレーニング可能なモデルを作成するための,フィルタプルーニングに基づく新しいモデル圧縮手法を提案する。 第二に、オンデバイスモデルがリアルタイムであるいはほぼリアルタイムで漸進的に更新できるように、新しい知識伝達手法を提案する。 その結果, モデル圧縮法は最大99.36%のWRN-28-10パラメータを除去できる一方で, CIFAR-10ではトップ1の精度を90%以上保持できることがわかった。
• 参考スコア（独自算出の注目度）: 5.239675888749389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models have introduced various intelligent applications to edge devices, such as image classification, speech recognition, and augmented reality. There is an increasing need of training such models on the devices in order to deliver personalized, responsive, and private learning. To address this need, this paper presents a new solution for deploying and training state-of-the-art models on the resource-constrained devices. First, the paper proposes a novel filter-pruning-based model compression method to create lightweight trainable models from large models trained in the cloud, without much loss of accuracy. Second, it proposes a novel knowledge transfer method to enable the on-device model to update incrementally in real time or near real time using incremental learning on new data and enable the on-device model to learn the unseen categories with the help of the in-cloud model in an unsupervised fashion. The results show that 1) our model compression method can remove up to 99.36% parameters of WRN-28-10, while preserving a Top-1 accuracy of over 90% on CIFAR-10; 2) our knowledge transfer method enables the compressed models to achieve more than 90% accuracy on CIFAR-10 and retain good accuracy on old categories; 3) it allows the compressed models to converge within real time (three to six minutes) on the edge for incremental learning tasks; 4) it enables the model to classify unseen categories of data (78.92% Top-1 accuracy) that it is never trained with.
• Abstract（参考訳）: ディープラーニングモデルは、画像分類、音声認識、拡張現実など、エッジデバイスにさまざまなインテリジェントなアプリケーションを導入している。 パーソナライズされ、応答性があり、プライベートな学習を提供するために、デバイス上でそのようなモデルをトレーニングする必要がある。 このニーズに対処するために,資源制約されたデバイス上で最先端モデルをデプロイし,訓練するための新しいソリューションを提案する。 まず,クラウドでトレーニングされた大規模モデルから軽量なモデルを作成するために,精度を損なうことなく,フィルタプルーニングに基づくモデル圧縮手法を提案する。 第二に、デバイス上のモデルが、新しいデータに対する漸進的な学習を用いて、リアルタイムでまたはほぼリアルタイムでインクリメンタルに更新できるようにし、クラウド内のモデルの助けを借りて、デバイス上のモデルが見えないカテゴリを学習できるようにする新しい知識伝達手法を提案する。 その結果は 1) モデル圧縮法では, 最大99.36% の WRN-28-10 パラメータを除去し, CIFAR-10 でトップ-1 の精度を90% 以上保持できる。 2) 知識伝達方式により, 圧縮モデルではCIFAR-10で90%以上の精度を達成でき, 古いカテゴリでは良好な精度を維持することができる。 3) 逐次学習タスクにおいて,圧縮されたモデルをエッジ上でリアルタイム(3～6分)に収束させることができる。 4) トレーニングされていないデータの未確認カテゴリ(Top-1精度78.92%)を分類することができる。

関連論文リスト

• CaBaGe: Data-Free Model Extraction using ClAss BAlanced Generator Ensemble [4.029642441688877]
  少数のクエリで高いモデル抽出精度を実現するために,データフリーモデル抽出手法であるCaBaGeを提案する。 評価の結果,CaBaGeは7つのデータセット上で既存の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-16T18:19:19Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Developing a Resource-Constraint EdgeAI model for Surface Defect Detection [1.338174941551702]
  資源制約のあるエッジ環境におけるデバイス上でのトレーニングのために,Xceptionから修正した軽量なEdgeAIアーキテクチャを提案する。 我々はPCB欠陥検出タスクにおけるモデルの評価を行い、その性能を既存の軽量モデルと比較した。 本手法は他のリソース制約アプリケーションにも適用できるが,性能は高い。
  論文  参考訳（メタデータ） (2023-12-04T15:28:31Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Deep learning model compression using network sensitivity and gradients [3.52359746858894]
  非リトレーニング条件とリトレーニング条件の両方に対するモデル圧縮アルゴリズムを提案する。 まず,ネットワークパラメータの感度を用いた深層学習モデルの圧縮のためのBin & Quantアルゴリズムを提案する。 第2のケースでは、新しい勾配重み付きk平均クラスタリングアルゴリズム(GWK)を提案する。
  論文  参考訳（メタデータ） (2022-10-11T03:02:40Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• Revisiting Classifier: Transferring Vision-Language Models for Video Recognition [102.93524173258487]
  ダウンストリームタスクのためのタスク非依存の深層モデルから知識を伝達することは、コンピュータビジョン研究において重要なトピックである。 本研究では,映像分類作業における知識の伝達に着目した。 予測された言語モデルを用いて、効率的な翻訳学習のための適切なセマンティックターゲットを生成する。
  論文  参考訳（メタデータ） (2022-07-04T10:00:47Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• DeepObliviate: A Powerful Charm for Erasing Data Residual Memory in Deep Neural Networks [7.687838702806964]
  DeepObliviateと呼ばれるアプローチを提案し、マシンアンラーニングを効率的に実装します。 本手法は,中間モデルをハードディスク上に格納することで,元のトレーニングプロセスを改善する。 ゼロから再トレーニングする方法と比較して、99.0%、95.0%、91.9%、96.7%、74.1%の精度と66.7$times$、75.0$times$、33.3$times$、29.4$times$、13.7$times$ speedupsが得られる。
  論文  参考訳（メタデータ） (2021-05-13T12:02:04Z)
• An Efficient Method of Training Small Models for Regression Problems with Knowledge Distillation [1.433758865948252]
  回帰問題に対する知識蒸留の新しい定式化を提案する。 まず,教師モデル予測を用いて,教師モデルを用いた学習サンプルの退学率を下げる新たな損失関数,教師の退学率の減少を提案する。 マルチタスクネットワークを考えることで、学生モデルの特徴抽出の訓練がより効果的になる。
  論文  参考訳（メタデータ） (2020-02-28T08:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。