論文の概要: From Algorithm to Hardware: A Survey on Efficient and Safe Deployment of Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2405.06038v1
- Date: Thu, 9 May 2024 18:17:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-13 17:26:24.709204
- Title: From Algorithm to Hardware: A Survey on Efficient and Safe Deployment of Deep Neural Networks
- Title（参考訳）: アルゴリズムからハードウェアへ:ディープニューラルネットワークの効率的かつ安全なデプロイに関する調査
- Authors: Xue Geng, Zhe Wang, Chunyun Chen, Qing Xu, Kaixin Xu, Chao Jin, Manas Gupta, Xulei Yang, Zhenghua Chen, Mohamed M. Sabry Aly, Jie Lin, Min Wu, Xiaoli Li,
- Abstract要約: ディープニューラルネットワーク(DNN)は多くの人工知能(AI)タスクで広く使われている。
それらのデプロイは、メモリ、エネルギ、計算の膨大なコストのために、大きな課題をもたらします。
近年,性能を保ちながらモデル効率を達成するための圧縮法の研究が急増している。
- 参考スコア（独自算出の注目度）: 23.928893359202753
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep neural networks (DNNs) have been widely used in many artificial intelligence (AI) tasks. However, deploying them brings significant challenges due to the huge cost of memory, energy, and computation. To address these challenges, researchers have developed various model compression techniques such as model quantization and model pruning. Recently, there has been a surge in research of compression methods to achieve model efficiency while retaining the performance. Furthermore, more and more works focus on customizing the DNN hardware accelerators to better leverage the model compression techniques. In addition to efficiency, preserving security and privacy is critical for deploying DNNs. However, the vast and diverse body of related works can be overwhelming. This inspires us to conduct a comprehensive survey on recent research toward the goal of high-performance, cost-efficient, and safe deployment of DNNs. Our survey first covers the mainstream model compression techniques such as model quantization, model pruning, knowledge distillation, and optimizations of non-linear operations. We then introduce recent advances in designing hardware accelerators that can adapt to efficient model compression approaches. Additionally, we discuss how homomorphic encryption can be integrated to secure DNN deployment. Finally, we discuss several issues, such as hardware evaluation, generalization, and integration of various compression approaches. Overall, we aim to provide a big picture of efficient DNNs, from algorithm to hardware accelerators and security perspectives.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は多くの人工知能(AI)タスクで広く使われている。
しかし、これらをデプロイすることは、メモリ、エネルギ、計算の膨大なコストのために大きな課題をもたらす。
これらの課題に対処するため、研究者はモデル量子化やモデルプルーニングなどの様々なモデル圧縮技術を開発した。
近年,性能を保ちながらモデル効率を達成するための圧縮法の研究が急増している。
さらに、モデル圧縮技術をより活用するために、DNNハードウェアアクセラレータをカスタマイズすることに注力する作業が増えている。
効率性に加えて、DNNのデプロイにはセキュリティとプライバシの保護が不可欠だ。
しかし、多種多様な関連作品が圧倒的に多い。
これにより、DNNの高性能、費用効率、安全な展開という目標に向けて、最近の研究を包括的に調査するインスピレーションとなる。
まず, モデル量子化, モデルプルーニング, 知識蒸留, 非線形演算の最適化など, 主流のモデル圧縮技術について検討した。
次に、効率的なモデル圧縮アプローチに適応できるハードウェアアクセラレータの設計の最近の進歩を紹介する。
さらに,同型暗号をセキュアなDNNデプロイメントに組み込む方法について論じる。
最後に,ハードウェア評価,一般化,各種圧縮手法の統合など,いくつかの課題について論じる。
全体として、アルゴリズムからハードウェアアクセラレータ、セキュリティの観点から、効率的なDNNの全体像を提供することを目指している。
関連論文リスト
- Improvement of Spiking Neural Network with Bit Planes and Color Models [0.0]
スパイキングニューラルネットワーク(SNN)は、計算神経科学と人工知能において有望なパラダイムとして登場した。
本稿では,ビット平面表現を利用した新しい符号化手法により,画像のSNN性能を向上させる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-09-28T15:52:49Z) - Model Agnostic Hybrid Sharding For Heterogeneous Distributed Inference [11.39873199479642]
Nesaは、分散AI推論用に設計されたモデルに依存しないシャーディングフレームワークを導入した。
私たちのフレームワークでは、ブロックチェーンベースのディープニューラルネットワークシャーディングを使用して、さまざまなノードネットワークに計算タスクを分散しています。
われわれの結果は、最先端のAI技術へのアクセスを民主化する可能性を強調している。
論文 参考訳（メタデータ） (2024-07-29T08:18:48Z) - Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。
モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。
このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
論文 参考訳（メタデータ） (2024-07-12T09:24:34Z) - DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - Design Automation for Fast, Lightweight, and Effective Deep Learning
Models: A Survey [53.258091735278875]
本調査では,エッジコンピューティングを対象としたディープラーニングモデルの設計自動化技術について述べる。
これは、有効性、軽量性、計算コストの観点からモデルの習熟度を定量化するために一般的に使用される主要なメトリクスの概要と比較を提供する。
この調査は、ディープモデル設計自動化技術の最先端の3つのカテゴリをカバーしている。
論文 参考訳（メタデータ） (2022-08-22T12:12:43Z) - DiverGet: A Search-Based Software Testing Approach for Deep Neural
Network Quantization Assessment [10.18462284491991]
量子化は、最も応用されたディープニューラルネットワーク(DNN)圧縮戦略の1つである。
量子化評価のための検索ベースのテストフレームワークであるDiverGetを提案する。
ハイパースペクトルリモートセンシング画像に適用した最先端DNNにおけるDiverGetの性能評価を行った。
論文 参考訳（メタデータ） (2022-07-13T15:27:51Z) - DepthShrinker: A New Compression Paradigm Towards Boosting Real-Hardware
Efficiency of Compact Neural Networks [29.46621102184345]
ハードウェアフレンドリーなコンパクトネットワークを開発するために,DepthShrinkerというフレームワークを提案する。
我々のフレームワークは、最先端のDNNや圧縮技術より優れたハードウェアフレンドリーなコンパクトネットワークを提供する。
論文 参考訳（メタデータ） (2022-06-02T02:32:47Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - Adversarially Robust and Explainable Model Compression with On-Device
Personalization for Text Classification [4.805959718658541]
モバイルデバイスのコンピューティング能力の増大とコンピュータビジョン(CV)と自然言語処理(NLP)のアプリケーション数の増加により、オンデバイスディープニューラルネットワーク(DNN)が最近注目を集めている。
NLPアプリケーションでは、モデル圧縮は最初は成功したが、少なくとも3つの大きな課題が解決されている: 対向的堅牢性、説明可能性、パーソナライゼーションである。
ここでは,モデル圧縮と対向ロバスト性のための新たなトレーニングスキームを設計し,説明可能な特徴マッピングの目的を最適化することによって,これらの課題に対処する。
得られた圧縮モデルは、細かなデバイス上でのプライベートトレーニングデータを用いてパーソナライズされる。
論文 参考訳（メタデータ） (2021-01-10T15:06:55Z) - Towards an Efficient and General Framework of Robust Training for Graph
Neural Networks [96.93500886136532]
グラフニューラルネットワーク(GNN)は、いくつかの基本的な推論タスクに大きく進歩している。
GNNの目覚ましい性能にもかかわらず、グラフ構造上の摂動を慎重に作り、誤った予測を下すことが観察されている。
我々は,強靭なGNNを得るために,欲求探索アルゴリズムとゼロ階法を利用する汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-25T15:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。