論文の概要: Auto Graph Encoder-Decoder for Neural Network Pruning

• arxiv url: http://arxiv.org/abs/2011.12641v3
• Date: Tue, 9 Nov 2021 16:39:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 03:05:02.981115
• Title: Auto Graph Encoder-Decoder for Neural Network Pruning
• Title（参考訳）: ニューラルネットワークのプルーニングのためのオートグラフエンコーダデコーダ
• Authors: Sixing Yu, Arya Mazaheri, Ali Jannesari
• Abstract要約: グラフニューラルネットワーク(GNN)と強化学習(RL)を組み合わせた自動グラフエンコーダデコーダモデル圧縮(AGMC)手法を提案する。 その結果, 学習に基づくDNN埋め込みは, より優れた性能と, より少ない探索ステップで高い圧縮比が得られることがわかった。
• 参考スコア（独自算出の注目度）: 0.8164433158925593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model compression aims to deploy deep neural networks (DNN) on mobile devices with limited computing and storage resources. However, most of the existing model compression methods rely on manually defined rules, which require domain expertise. DNNs are essentially computational graphs, which contain rich structural information. In this paper, we aim to find a suitable compression policy from DNNs' structural information. We propose an automatic graph encoder-decoder model compression (AGMC) method combined with graph neural networks (GNN) and reinforcement learning (RL). We model the target DNN as a graph and use GNN to learn the DNN's embeddings automatically. We compared our method with rule-based DNN embedding model compression methods to show the effectiveness of our method. Results show that our learning-based DNN embedding achieves better performance and a higher compression ratio with fewer search steps. We evaluated our method on over-parameterized and mobile-friendly DNNs and compared our method with handcrafted and learning-based model compression approaches. On over parameterized DNNs, such as ResNet-56, our method outperformed handcrafted and learning-based methods with $4.36\%$ and $2.56\%$ higher accuracy, respectively. Furthermore, on MobileNet-v2, we achieved a higher compression ratio than state-of-the-art methods with just $0.93\%$ accuracy loss.
• Abstract（参考訳）: モデル圧縮は、限られたコンピューティングとストレージリソースを持つモバイルデバイスにディープニューラルネットワーク(DNN)をデプロイすることを目的としている。 しかし、既存のモデル圧縮手法のほとんどは、ドメインの専門知識を必要とする手作業によるルールに依存している。 DNNは本質的に、豊富な構造情報を含む計算グラフである。 本稿では,DNNの構造情報から適切な圧縮ポリシーを求める。 本稿では,グラフニューラルネットワーク(GNN)と強化学習(RL)を組み合わせた自動グラフエンコーダデコーダモデル圧縮(AGMC)手法を提案する。 対象のDNNをグラフとしてモデル化し,GNNを用いてDNNの埋め込みを自動的に学習する。 提案手法をルールベースDNN埋め込みモデル圧縮法と比較し,提案手法の有効性を示した。 その結果, 学習に基づくDNN埋め込みは, より優れた性能と, より少ない探索ステップで高い圧縮比が得られることがわかった。 提案手法を過度にパラメータ化されたモバイルフレンドリーなDNNで評価し,手作りおよび学習に基づくモデル圧縮手法と比較した。 resnet-56のようなパラメータ化されたdnnでは、この手法は手作りと学習に基づく手法をそれぞれ4.36\%$と2.56\%高い精度で上回っていた。 さらに,MobileNet-v2では,精度が0.93\%の最先端手法よりも高い圧縮比を実現した。

関連論文リスト

• Dynamic Semantic Compression for CNN Inference in Multi-access Edge Computing: A Graph Reinforcement Learning-based Autoencoder [82.8833476520429]
  部分オフロードにおける効果的な意味抽出と圧縮のための新しい意味圧縮手法であるオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 セマンティックエンコーダでは、CNNのチャネルアテンション機構に基づく特徴圧縮モジュールを導入し、最も情報性の高い特徴を選択して中間データを圧縮する。 セマンティックデコーダでは、受信した圧縮データから学習して中間データを再構築し、精度を向上させる軽量デコーダを設計する。
  論文  参考訳（メタデータ） (2024-01-19T15:19:47Z)
• Graph Neural Network for Accurate and Low-complexity SAR ATR [2.9766397696234996]
  高精度かつ低レイテンシなSAR ATRを実現するために,グラフニューラルネットワーク(GNN)モデルを提案する。 提案したGNNモデルは計算複雑性が低く,高い精度を実現する。 現状のCNNと比較して、提案したGNNモデルは、計算コストが1/3000、モデルサイズが1/80である。
  論文  参考訳（メタデータ） (2023-05-11T20:17:41Z)
• Learning Graph Neural Networks using Exact Compression [2.213723689024101]
  大規模グラフ上でGNNを学習する際のメモリ要求を削減する方法として,正確な圧縮について検討する。 特に,圧縮に対する形式的なアプローチを採用し,GNN学習問題を証明可能な等価な圧縮GNN学習問題に変換する手法を提案する。
  論文  参考訳（メタデータ） (2023-04-28T12:04:28Z)
• Attention-based Feature Compression for CNN Inference Offloading in Edge Computing [93.67044879636093]
  本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。 エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
  論文  参考訳（メタデータ） (2022-11-24T18:10:01Z)
• Comparison Analysis of Traditional Machine Learning and Deep Learning Techniques for Data and Image Classification [62.997667081978825]
  本研究の目的は、コンピュータビジョン2次元オブジェクト分類タスクに使用される最も一般的な機械学習およびディープラーニング技術を分析し比較することである。 まず、視覚語モデルと深部畳み込みニューラルネットワーク(DCNN)の理論的背景を示す。 次に、Bag of Visual Wordsモデル、VGG16 CNN Architectureを実装します。
  論文  参考訳（メタデータ） (2022-04-11T11:34:43Z)
• MGDCF: Distance Learning via Markov Graph Diffusion for Neural Collaborative Filtering [96.65234340724237]
  現状のGNNベースCFモデルとコンテキスト符号化に基づく従来の1層NRLモデルとの等価性を示す。 マルコフグラフ拡散協調フィルタ (MGDCF) を用いて, 最先端のGNNベースCFモデルを一般化する。
  論文  参考訳（メタデータ） (2022-04-05T17:24:32Z)
• Training Graph Neural Networks with 1000 Layers [133.84813995275988]
  我々は、GNNのメモリとパラメータ効率を向上させるために、可逆接続、グループ畳み込み、重み付け、平衡モデルについて検討する。 我々の知る限りでは、RevGNN-Deepは文学で最も深いGNNである。
  論文  参考訳（メタデータ） (2021-06-14T15:03:00Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• GNN-RL Compression: Topology-Aware Network Pruning using Multi-stage Graph Embedding and Reinforcement Learning [1.426627267770156]
  DNNのトポロジを識別するために,グラフニューラルネットワーク(GNN)に基づく新しい多段階グラフ埋め込み手法を提案する。 我々は,資源制約付き(FLOP)チャネルプルーニングを行い,その手法を最先端圧縮法と比較した。 以上の結果から,ShuffleNet-v1の精度は最大1.84%向上した。
  論文  参考訳（メタデータ） (2021-02-05T14:59:32Z)
• Utilizing Explainable AI for Quantization and Pruning of Deep Neural Networks [0.495186171543858]
  AI(Artificial Intelligence)の手法を理解し説明するための最近の取り組みは、説明可能なAIと呼ばれる新しい研究領域につながった。 AI(Artificial Intelligence)の手法を理解し説明するための最近の取り組みは、説明可能なAIと呼ばれる新しい研究領域につながった。 本稿では,DeepLIFT法を中心に説明可能なAI手法を用いる。
  論文  参考訳（メタデータ） (2020-08-20T16:52:58Z)
• Sparsity Meets Robustness: Channel Pruning for the Feynman-Kac Formalism Principled Robust Deep Neural Nets [13.102014808597264]
  本稿では、堅牢で正確なディープラーニングのための効率的な圧縮アルゴリズムとスパースニューラルネットワークの共設計に焦点を当てる。 緩和されたラグランジアンベースのアルゴリズムを利用して、敵に訓練されたDNNの重みを推定する。 The Feynman-Kac formalism was fundamentald robust and sparse DNNs, we can least double the channel sparsity of the adversarially trained ResNet20 for CIFAR10 classification。
  論文  参考訳（メタデータ） (2020-03-02T02:18:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。