論文の概要: Compacting Deep Neural Networks for Internet of Things: Methods and Applications

• arxiv url: http://arxiv.org/abs/2103.11083v1
• Date: Sat, 20 Mar 2021 03:18:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-23 14:49:50.140719
• Title: Compacting Deep Neural Networks for Internet of Things: Methods and Applications
• Title（参考訳）: モノのインターネットのためのディープニューラルネットワークのコンパクト化:方法と応用
• Authors: Ke Zhang, Hanbo Ying, Hong-Ning Dai, Lin Li, Yuangyuang Peng, Keyi Guo, Hongfang Yu
• Abstract要約: ディープニューラルネットワーク(DNN)は複雑なタスクの完了に大きな成功を収めている。 DNNは階層構造が複雑になるため、計算コストとストレージ消費が必然的に高くなる。 本稿では,コンパクト化dnns技術に関する包括的研究を行う。
• 参考スコア（独自算出の注目度）: 14.611047945621511
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep Neural Networks (DNNs) have shown great success in completing complex tasks. However, DNNs inevitably bring high computational cost and storage consumption due to the complexity of hierarchical structures, thereby hindering their wide deployment in Internet-of-Things (IoT) devices, which have limited computational capability and storage capacity. Therefore, it is a necessity to investigate the technologies to compact DNNs. Despite tremendous advances in compacting DNNs, few surveys summarize compacting-DNNs technologies, especially for IoT applications. Hence, this paper presents a comprehensive study on compacting-DNNs technologies. We categorize compacting-DNNs technologies into three major types: 1) network model compression, 2) Knowledge Distillation (KD), 3) modification of network structures. We also elaborate on the diversity of these approaches and make side-by-side comparisons. Moreover, we discuss the applications of compacted DNNs in various IoT applications and outline future directions.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は複雑なタスクの完了に大きな成功を収めている。 しかし、DNNは階層構造が複雑であるために計算コストとストレージ消費が必然的に高くなるため、計算能力とストレージ容量が制限されたIoT(Internet-of-Things)デバイスへの展開が妨げられる。 そのため,DNNのコンパクト化に向けた技術を検討する必要がある。 コンパクト化DNNの大幅な進歩にもかかわらず、特にIoTアプリケーションにおいて、コンパクト化DNN技術を要約する調査はほとんどない。 そこで本稿では,コンパクト化dnns技術に関する包括的研究を行う。 本稿では,1)ネットワークモデル圧縮,2)知識蒸留(KD),3)ネットワーク構造の変更の3つの主要なタイプに分類する。 また、これらのアプローチの多様性を詳しく説明し、並べて比較します。 さらに、各種IoTアプリケーションにおけるコンパクトDNNの適用について論じ、今後の方向性を概説する。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
  スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。 本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T05:23:11Z)
• Survey on Computer Vision Techniques for Internet-of-Things Devices [0.0]
  ディープニューラルネットワーク(Deep Neural Network, DNN)は、コンピュータビジョン問題を解決する最先端技術である。 DNNは最先端の結果を得るために数十億のパラメータと演算を必要とする。 この要件により、DNNは計算量、メモリ、エネルギー不足を極端に増加させ、結果として限られたコンピューティングリソースを持つ小さなバッテリ駆動のIoT(Internet-of-Things)デバイスにデプロイすることが困難になる。
  論文  参考訳（メタデータ） (2023-08-02T03:41:24Z)
• Tensor Networks Meet Neural Networks: A Survey and Future Perspectives [27.878669143107885]
  テンソルニューラルネットワーク(TNN)とニューラルネットワーク(NN)は2つの基本的なデータモデリングアプローチである。 TNは指数的な数の次元を複雑さに変換することによって、大規模テンソルの次元性の呪いを解決する。 NNは、コンピュータビジョン、自然言語処理、ロボット工学の研究など、様々な応用において優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-01-22T17:35:56Z)
• Enabling Deep Learning on Edge Devices [2.741266294612776]
  ディープニューラルネットワーク(DNN)は、コンピュータビジョン、自然言語処理、強化学習など、多くの異なる認識タスクに成功している。 高性能DNNは資源消費に大きく依存している。 近年、AR/VR、モバイルアシスタント、モノのインターネットなど、新たなインテリジェントなアプリケーションでは、リソース制約のあるエッジデバイスにDNNをデプロイする必要があります。 この論文では,エッジデバイスへの推論,エッジデバイスへの適応,エッジデバイスへの学習,エッジサーバシステムという4つのエッジインテリジェンスシナリオについて検討した。
  論文  参考訳（メタデータ） (2022-10-06T20:52:57Z)
• Sparsifying Binary Networks [3.8350038566047426]
  バイナリニューラルネットワーク(BNN)は、完全精度のディープニューラルネットワーク(DNN)と同等の精度で複雑なタスクを解く能力を示した。 最近の改善にもかかわらず、非常に限られたリソースを持つ特定のデバイスで不十分な、固定的で制限された圧縮要因に悩まされている。 本稿では,BNNの疎性を導入した新しいモデルとトレーニング手法であるスパースバイナリニューラルネットワーク(SBNN)と,ネットワークの重みをバイナライズする新しい量子化関数を提案する。
  論文  参考訳（メタデータ） (2022-07-11T15:54:41Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Exploring Architectural Ingredients of Adversarially Robust Deep Neural Networks [98.21130211336964]
  ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。 本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2021-10-07T23:13:33Z)
• A Survey on Deep Neural Network Compression: Challenges, Overview, and Solutions [18.095948566754874]
  Deep Neural Network(DNN)は、自動機能抽出機能により、前例のないパフォーマンスを実現している。 本稿では,DNNモデルの圧縮に関する既存の文献を概説する。 我々は,既存の手法を,DNNモデルを圧縮する機構に基づいて,ネットワークプルーニング,スパース表現,ビット精度,知識蒸留,雑多な5つのカテゴリに分割する。
  論文  参考訳（メタデータ） (2020-10-05T13:12:46Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。