論文の概要: LegoDNN: Block-grained Scaling of Deep Neural Networks for Mobile Vision

• arxiv url: http://arxiv.org/abs/2112.09852v1
• Date: Sat, 18 Dec 2021 06:04:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-21 16:17:14.655815
• Title: LegoDNN: Block-grained Scaling of Deep Neural Networks for Mobile Vision
• Title（参考訳）: LegoDNN: モバイルビジョンのためのディープニューラルネットワークのブロック粒度のスケーリング
• Authors: Rui Han, Qinglong Zhang, Chi Harold Liu, Guoren Wang, Jian Tang, Lydia Y. Chen
• Abstract要約: モバイルビジョンシステムでマルチDNNワークロードを実行するための,ブロック粒度のスケーリングソリューションであるLegoDNNを提案する。 LegoDNNは、少数の共通ブロックを抽出し、トレーニングするだけで、短いモデルのトレーニング時間を保証します。 LegoDNNはトレーニング時間を増やすことなく,モデルサイズの1,296倍から279,936倍のオプションを提供する。
• 参考スコア（独自算出の注目度）: 27.74191483754982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) have become ubiquitous techniques in mobile and embedded systems for applications such as image/object recognition and classification. The trend of executing multiple DNNs simultaneously exacerbate the existing limitations of meeting stringent latency/accuracy requirements on resource constrained mobile devices. The prior art sheds light on exploring the accuracy-resource tradeoff by scaling the model sizes in accordance to resource dynamics. However, such model scaling approaches face to imminent challenges: (i) large space exploration of model sizes, and (ii) prohibitively long training time for different model combinations. In this paper, we present LegoDNN, a lightweight, block-grained scaling solution for running multi-DNN workloads in mobile vision systems. LegoDNN guarantees short model training times by only extracting and training a small number of common blocks (e.g. 5 in VGG and 8 in ResNet) in a DNN. At run-time, LegoDNN optimally combines the descendant models of these blocks to maximize accuracy under specific resources and latency constraints, while reducing switching overhead via smart block-level scaling of the DNN. We implement LegoDNN in TensorFlow Lite and extensively evaluate it against state-of-the-art techniques (FLOP scaling, knowledge distillation and model compression) using a set of 12 popular DNN models. Evaluation results show that LegoDNN provides 1,296x to 279,936x more options in model sizes without increasing training time, thus achieving as much as 31.74% improvement in inference accuracy and 71.07% reduction in scaling energy consumptions.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、画像/オブジェクト認識や分類などのアプリケーションのためのモバイルおよび組み込みシステムにおいて、ユビキタスな技術になりつつある。 複数のDNNを同時に実行する傾向は、リソース制約のあるモバイルデバイス上での厳しいレイテンシ/精度要件を満たすという既存の制限を悪化させる。 以前の技術では、リソースのダイナミクスに応じてモデルサイズをスケールすることで、正確性とリソースのトレードオフを探求している。 しかし、このようなモデルスケーリングアプローチは、差し迫った課題に直面します。 一 模型の大きさの大規模な宇宙探査、及び (二)異なるモデルの組み合わせに対する禁断の訓練時間。 本稿では,モバイルビジョンシステム上でマルチDNNワークロードを実行するための軽量でブロック粒度のスケーリングソリューションであるLegoDNNを提案する。 LegoDNNは、DNNで少数の共通ブロック(VGGでは5、ResNetでは8)を抽出し、トレーニングすることで、短いモデルのトレーニング時間を保証している。 実行時に、LegoDNNはこれらのブロックの後継モデルを最適に組み合わせて、特定のリソースとレイテンシ制約の下での精度を最大化し、DNNのスマートブロックレベルのスケーリングによるオーバーヘッドの切り換えを削減します。 TensorFlow LiteにLegoDNNを実装し、12の一般的なDNNモデルを用いて最先端技術(FLOPスケーリング、知識蒸留、モデル圧縮)に対して広範囲に評価する。 評価の結果、LegoDNNはトレーニング時間を増やすことなくモデルサイズの1,296倍から279,936倍のオプションを提供しており、推論精度が31.74%向上し、スケールエネルギー消費が71.07%減少した。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• DNNShifter: An Efficient DNN Pruning System for Edge Computing [1.853502789996996]
  ディープニューラルネットワーク(DNN)は多くの機械学習アプリケーションを支える。 生産品質のDNNモデルは、膨大なリソースフットプリントを持つ数百万のDNNパラメータをトレーニングすることで、高い推論精度を達成する。 これは、計算資源やメモリ資源が限られているモバイルや組み込みデバイスのような、ネットワークの極端で運用するリソースにとっての課題である。 既存のプルーニング手法は、大幅な時間コストとオーバーヘッドを伴わず、未処理のプルーニングモデルと同じような品質のモデルを提供できないか、オフラインのユースケースに限定される。 我々の研究は、原モデルの精度を維持しつつ、適切なモデル変種を迅速に導き出す。
  論文  参考訳（メタデータ） (2023-09-13T14:05:50Z)
• Neurogenesis Dynamics-inspired Spiking Neural Network Training Acceleration [25.37391055865312]
  スパイキングニューラルネットワーク(SNN)は、極めてエネルギー効率のよいマシンインテリジェンスを提供する能力に対して、大きな注目を集めている。 ニューロジェネレーション・ダイナミクスにインスパイアされたスパイキングニューラルネットワークトレーニング・アクセラレーション・フレームワークであるNDSNNを提案する。 我々のフレームワークは計算効率が高く、モデルの忠実さを犠牲にすることなく、スクラッチから動的間隔でモデルを訓練する。
  論文  参考訳（メタデータ） (2023-04-24T15:54:22Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Weightless Neural Networks for Efficient Edge Inference [1.7882696915798877]
  ウェイトレスニューラルネットワーク(WNN)は、テーブルルックアップを使用して推論を行う機械学習モデルのクラスである。 本稿では,WNN アーキテクチャ BTHOWeN を提案する。 BTHOWeNは、より優れたレイテンシとエネルギー効率を提供することで、大規模で成長するエッジコンピューティングセクターをターゲットにしている。
  論文  参考訳（メタデータ） (2022-03-03T01:46:05Z)
• Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
  スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-22T18:47:45Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Block-term Tensor Neural Networks [29.442026567710435]
  ブロック終端テンソル層(BT層)は,CNNやRNNなどのニューラルネットワークモデルに容易に適用可能であることを示す。 CNNとRNNのBT層は、元のDNNの表現力を維持したり改善したりしながら、パラメータ数に対して非常に大きな圧縮比を達成することができる。
  論文  参考訳（メタデータ） (2020-10-10T09:58:43Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。