論文の概要: Utilizing Explainable AI for Quantization and Pruning of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2008.09072v1
• Date: Thu, 20 Aug 2020 16:52:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-10-27 02:48:23.657371
• Title: Utilizing Explainable AI for Quantization and Pruning of Deep Neural Networks
• Title（参考訳）: 説明可能なAIを用いたディープニューラルネットワークの量子化とプルーニング
• Authors: Muhammad Sabih, Frank Hannig and Juergen Teich
• Abstract要約: AI(Artificial Intelligence)の手法を理解し説明するための最近の取り組みは、説明可能なAIと呼ばれる新しい研究領域につながった。 AI(Artificial Intelligence)の手法を理解し説明するための最近の取り組みは、説明可能なAIと呼ばれる新しい研究領域につながった。 本稿では,DeepLIFT法を中心に説明可能なAI手法を用いる。
• 参考スコア（独自算出の注目度）: 0.495186171543858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For many applications, utilizing DNNs (Deep Neural Networks) requires their implementation on a target architecture in an optimized manner concerning energy consumption, memory requirement, throughput, etc. DNN compression is used to reduce the memory footprint and complexity of a DNN before its deployment on hardware. Recent efforts to understand and explain AI (Artificial Intelligence) methods have led to a new research area, termed as explainable AI. Explainable AI methods allow us to understand better the inner working of DNNs, such as the importance of different neurons and features. The concepts from explainable AI provide an opportunity to improve DNN compression methods such as quantization and pruning in several ways that have not been sufficiently explored so far. In this paper, we utilize explainable AI methods: mainly DeepLIFT method. We use these methods for (1) pruning of DNNs; this includes structured and unstructured pruning of \ac{CNN} filters pruning as well as pruning weights of fully connected layers, (2) non-uniform quantization of DNN weights using clustering algorithm; this is also referred to as Weight Sharing, and (3) integer-based mixed-precision quantization; this is where each layer of a DNN may use a different number of integer bits. We use typical image classification datasets with common deep learning image classification models for evaluation. In all these three cases, we demonstrate significant improvements as well as new insights and opportunities from the use of explainable AI in DNN compression.
• Abstract（参考訳）: 多くのアプリケーションにとって、DNN(Deep Neural Networks)を利用することは、エネルギー消費、メモリ要求、スループットなどに関して最適化された方法でターゲットアーキテクチャの実装を必要とする。 DNN圧縮は、ハードウェアへの展開前にDNNのメモリフットプリントと複雑性を低減するために使用される。 AI(Artificial Intelligence)の手法を理解し説明するための最近の取り組みは、説明可能なAIと呼ばれる新しい研究領域につながった。 説明可能なAI手法により、異なるニューロンや特徴の重要性など、DNNの内部動作をよりよく理解することができます。 説明可能なAIの概念は、量子化やプルーニングといったDNN圧縮手法を、これまで十分に研究されていないいくつかの方法で改善する機会を提供する。 本稿では,DeepLIFT法を中心に説明可能なAI手法を用いる。 我々は,(1)dnnのプルーニングには,(1)完全連結層のプルーニングに加えて,<ac{cnn}フィルタプルーニングの構造化および非構造化プルーニング,(2)クラスタリングアルゴリズムを用いたdnn重みの非一様量子化,(3)重み共有,(3)整数ベース混合精度量子化,(3)dnnの各層が異なる数の整数ビットを使用する,といった方法を用いる。 一般的なディープラーニング画像分類モデルを用いた典型的な画像分類データセットを用いて評価を行う。 これら3例すべてにおいて、DNN圧縮における説明可能なAIの使用による新たな洞察と機会に加えて、大幅な改善が示されている。

関連論文リスト

• SimpleMind adds thinking to deep neural networks [3.888848425698769]
  ディープニューラルネットワーク(DNN)はデータのパターンを検出し、多くのコンピュータビジョンアプリケーションで汎用性と強力なパフォーマンスを示している。 DNNだけでは、単純で常識的な概念に反する明らかな誤りに陥り、明確な知識を使って探索と意思決定を導く能力に制限がある。 本稿では,医療画像理解に焦点を当てたCognitive AIのためのオープンソースソフトウェアフレームワークであるSimpleMindを紹介する。
  論文  参考訳（メタデータ） (2022-12-02T03:38:20Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Anisotropic, Sparse and Interpretable Physics-Informed Neural Networks for PDEs [0.0]
  我々は,従来のSPINN(Sparse, Physics-informed, Interpretable Neural Networks)と呼ばれる異方性拡張であるASPINNを提案し,PDEを解く。 ASPINNはラジアル基底関数ネットワークを一般化する。 また、ASPINNのトレーニングを教師付き学習アルゴリズムに近い形式に合理化します。
  論文  参考訳（メタデータ） (2022-07-01T12:24:43Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Mining the Weights Knowledge for Optimizing Neural Network Structures [1.995792341399967]
  タスク固有のニューラルネットワーク(略してTNN)の重みを入力として使用するスイッチャーニューラルネットワーク(SNN)を導入する。 重みに含まれる知識をマイニングすることで、SNNはTNNのニューロンをオフにするスケーリング因子を出力する。 精度の面では,ベースラインネットワークやその他の構造学習手法を安定的に,かつ著しく上回っている。
  論文  参考訳（メタデータ） (2021-10-11T05:20:56Z)
• Fully Spiking Variational Autoencoder [66.58310094608002]
  スパイキングニューラルネットワーク(SNN)は、超高速で超低エネルギー消費のニューロモルフィックデバイス上で動作することができる。 本研究では,SNNを用いた可変オートエンコーダ(VAE)を構築し,画像生成を実現する。
  論文  参考訳（メタデータ） (2021-09-26T06:10:14Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Pruning and Slicing Neural Networks using Formal Verification [0.2538209532048866]
  ディープニューラルネットワーク(DNN)は、様々なコンピュータシステムにおいてますます重要な役割を担っている。 これらのネットワークを作成するために、エンジニアは通常、望ましいトポロジを指定し、自動トレーニングアルゴリズムを使用してネットワークの重みを選択する。 本稿では,近年のDNN検証の進歩を活用して,この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2021-05-28T07:53:50Z)
• A Practical Tutorial on Graph Neural Networks [49.919443059032226]
  グラフニューラルネットワーク(GNN)は、人工知能(AI)分野において最近人気が高まっている。 このチュートリアルでは、GNNのパワーとノベルティをAI実践者に公開している。
  論文  参考訳（メタデータ） (2020-10-11T12:36:17Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。