論文の概要: Enabling On-Device CNN Training by Self-Supervised Instance Filtering
and Error Map Pruning
- arxiv url: http://arxiv.org/abs/2007.03213v1
- Date: Tue, 7 Jul 2020 05:52:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 18:48:45.857569
- Title: Enabling On-Device CNN Training by Self-Supervised Instance Filtering
and Error Map Pruning
- Title（参考訳）: 自己教師付きインスタンスフィルタリングとエラーマッププラニングによるオンデバイスcnnトレーニングの実現
- Authors: Yawen Wu, Zhepeng Wang, Yiyu Shi, Jingtong Hu
- Abstract要約: この研究は、トレーニング時の計算コストを削減し、デバイス上での畳み込みニューラルネットワーク(CNN)のトレーニングを可能にすることを目的としている。
CNNモデルは、通常高性能コンピュータ上で訓練され、訓練されたモデルのみがエッジデバイスにデプロイされる。
- 参考スコア（独自算出の注目度）: 17.272561332310303
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work aims to enable on-device training of convolutional neural networks
(CNNs) by reducing the computation cost at training time. CNN models are
usually trained on high-performance computers and only the trained models are
deployed to edge devices. But the statically trained model cannot adapt
dynamically in a real environment and may result in low accuracy for new
inputs. On-device training by learning from the real-world data after
deployment can greatly improve accuracy. However, the high computation cost
makes training prohibitive for resource-constrained devices. To tackle this
problem, we explore the computational redundancies in training and reduce the
computation cost by two complementary approaches: self-supervised early
instance filtering on data level and error map pruning on the algorithm level.
The early instance filter selects important instances from the input stream to
train the network and drops trivial ones. The error map pruning further prunes
out insignificant computations when training with the selected instances.
Extensive experiments show that the computation cost is substantially reduced
without any or with marginal accuracy loss. For example, when training
ResNet-110 on CIFAR-10, we achieve 68% computation saving while preserving full
accuracy and 75% computation saving with a marginal accuracy loss of 1.3%.
Aggressive computation saving of 96% is achieved with less than 0.1% accuracy
loss when quantization is integrated into the proposed approaches. Besides,
when training LeNet on MNIST, we save 79% computation while boosting accuracy
by 0.2%.
- Abstract（参考訳）: 本研究の目的は、トレーニング時の計算コストを削減し、デバイス上での畳み込みニューラルネットワーク(CNN)のトレーニングを可能にすることである。
cnnモデルは通常高性能コンピュータで訓練され、訓練されたモデルのみがエッジデバイスにデプロイされる。
しかし、静的に訓練されたモデルは実際の環境では動的に適応できず、新しい入力に対して精度が低下する可能性がある。
デプロイ後の実世界のデータから学習するオンデバイストレーニングは、精度を大幅に向上させる。
しかし、高い計算コストにより、リソース制約のあるデバイスに対するトレーニングが禁止される。
そこで本研究では,データレベルの自己教師付き初期インスタンスフィルタリングとアルゴリズムレベルでのエラーマッププラニングという2つの相補的アプローチにより,学習における計算冗長性を調査し,計算コストを削減する。
初期インスタンスフィルタは入力ストリームから重要なインスタンスを選択してネットワークをトレーニングし、簡単なインスタンスをドロップする。
エラーマップの刈り取りは、選択したインスタンスでトレーニングする場合、さらに重要な計算を除外する。
大規模な実験では、計算コストが限界精度の損失なしに大幅に削減されている。
例えば、CIFAR-10上でResNet-110をトレーニングする場合、完全精度と75%の計算節約を保ちながら68%の計算節約を達成し、限界精度の損失は1.3%である。
提案手法に量子化を組み込むと、0.1%未満の精度で96%の攻撃的計算節約が達成される。
さらに、mnistでlenetをトレーニングする場合、79%の計算を節約し、精度を0.2%向上させる。
関連論文リスト
- Effective pruning of web-scale datasets based on complexity of concept
clusters [48.125618324485195]
本稿では,大規模なマルチモーダルデータセットを抽出し,イメージネット上でCLIPスタイルのモデルを訓練する手法を提案する。
高品質なデータのより小さなセットでのトレーニングは、トレーニングコストを大幅に削減して、より高いパフォーマンスをもたらす可能性があることに気付きました。
我々は38の評価タスクにおいて、新しい最先端のImagehttps://info.arxiv.org/help/prep#commentsネットゼロショット精度と競合平均ゼロショット精度を実現する。
論文 参考訳（メタデータ） (2024-01-09T14:32:24Z) - KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。
我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。
本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
論文 参考訳（メタデータ） (2023-10-16T06:19:29Z) - Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。
局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。
特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文 参考訳（メタデータ） (2023-09-29T13:09:40Z) - Efficient On-device Training via Gradient Filtering [14.484604762427717]
デバイス上でのCNNモデルトレーニングを可能にする新しい勾配フィルタリング手法を提案する。
我々のアプローチは勾配写像の特異な要素が少ない特別な構造を生成する。
弊社のアプローチは、デバイス上でのトレーニングの大きな可能性を秘めた、新しい研究の方向性を開く。
論文 参考訳（メタデータ） (2023-01-01T02:33:03Z) - Efficient Training of Spiking Neural Networks with Temporally-Truncated
Local Backpropagation through Time [1.926678651590519]
訓練用スパイクニューラルネットワーク(SNN)は、複雑な神経力学と発火機能における本質的な非微分性のため、依然として困難である。
本研究では,局所教師付きトレーニング手法と時間的制約付きBPTTアルゴリズムを統合したSNNの効率的かつ直接的なトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-12-13T07:44:58Z) - Low Precision Decentralized Distributed Training with Heterogeneous Data [5.43185002439223]
トレーニングと推論の計算複雑性を低減することを目的とした,低精度分散トレーニングの収束性を示す。
実験によると、8ビットの分散トレーニングは、不均一なデータであっても、その完全精度と比較して、最小限の精度の損失がある。
論文 参考訳（メタデータ） (2021-11-17T20:48:09Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳（メタデータ） (2021-10-08T17:03:34Z) - AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural
Networks [78.62086125399831]
本稿では、ディープニューラルネットワーク(DNN)のAC/DCトレーニング(Alternating Compressed/DeCompressed)と呼ばれる一般的なアプローチを提案する。
AC/DCは、類似の計算予算で既存のスパーストレーニング方法よりも精度が高い。
AC/DCの重要な特性は、密度とスパースモデルのコトレーニングが可能であり、トレーニングプロセスの終了時に正確なスパース・ダンスモデルペアが得られることである。
論文 参考訳（メタデータ） (2021-06-23T13:23:00Z) - FracTrain: Fractionally Squeezing Bit Savings Both Temporally and
Spatially for Efficient DNN Training [81.85361544720885]
アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。
FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
論文 参考訳（メタデータ） (2020-12-24T05:24:10Z) - Predicting Training Time Without Training [120.92623395389255]
我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。
我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。
トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
論文 参考訳（メタデータ） (2020-08-28T04:29:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。