Fugu-MT 論文翻訳(概要): GNN-RL Compression: Topology-Aware Network Pruning using Multi-stage Graph Embedding and Reinforcement Learning

論文の概要: GNN-RL Compression: Topology-Aware Network Pruning using Multi-stage Graph Embedding and Reinforcement Learning

arxiv url: http://arxiv.org/abs/2102.03214v1
Date: Fri, 5 Feb 2021 14:59:32 GMT
ステータス: 処理完了
システム内更新日: 2021-02-08 14:48:25.892729
Title: GNN-RL Compression: Topology-Aware Network Pruning using Multi-stage Graph Embedding and Reinforcement Learning
Title（参考訳）: GNN-RL圧縮:マルチステージグラフ埋め込みと強化学習を用いたトポロジー認識ネットワークプルーニング
Authors: Sixing Yu, Arya Mazaheri, Ali Jannesari
Abstract要約: DNNのトポロジを識別するために,グラフニューラルネットワーク(GNN)に基づく新しい多段階グラフ埋め込み手法を提案する。我々は,資源制約付き(FLOP)チャネルプルーニングを行い,その手法を最先端圧縮法と比較した。以上の結果から,ShuffleNet-v1の精度は最大1.84%向上した。
参考スコア（独自算出の注目度）: 1.426627267770156
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Model compression is an essential technique for deploying deep neural networks (DNNs) on power and memory-constrained resources. However, existing model-compression methods often rely on human expertise and focus on parameters' local importance, ignoring the rich topology information within DNNs. In this paper, we propose a novel multi-stage graph embedding technique based on graph neural networks (GNNs) to identify the DNNs' topology and use reinforcement learning (RL) to find a suitable compression policy. We performed resource-constrained (i.e., FLOPs) channel pruning and compared our approach with state-of-the-art compression methods using over-parameterized DNNs (e.g., ResNet and VGG-16) and mobile-friendly DNNs (e.g., MobileNet and ShuffleNet). We evaluated our method on various models from typical to mobile-friendly networks, such as ResNet family, VGG-16, MobileNet-v1/v2, and ShuffleNet. The results demonstrate that our method can prune dense networks (e.g., VGG-16) by up to 80% of their original FLOPs. More importantly, our method outperformed state-of-the-art methods and achieved a higher accuracy by up to 1.84% for ShuffleNet-v1. Furthermore, following our approach, the pruned VGG-16 achieved a noticeable 1.38$\times$ speed up and 141 MB GPU memory reduction.
Abstract（参考訳）: モデル圧縮は、電力とメモリ制約のあるリソースにディープニューラルネットワーク(DNN)をデプロイする上で不可欠な技術である。しかし、既存のモデル圧縮方法は、しばしば人間の専門知識に頼り、パラメータの局所的な重要性に焦点を当て、DNN内の豊富なトポロジ情報を無視します。本稿では、DNNのトポロジを特定し、強化学習(RL)を用いて適切な圧縮ポリシーを見つけるために、グラフニューラルネットワーク(GNN)に基づく新しい多段階グラフ埋め込み手法を提案する。我々は資源制約付き(FLOP)チャネルプルーニングを行い、オーバーパラメータ化されたDNN(ResNetやVGG-16など)とモバイルフレンドリーなDNN(MobileNetやShuffleNetなど)を用いた最先端の圧縮手法と比較した。 resnet family, vgg-16, mobilenet-v1/v2, shufflenetなど, 典型的なネットワークからモバイルフレンドリーなネットワークまで, 様々なモデルを用いて評価を行った。その結果,本手法が高密度ネットワーク(例えばVGG-16)を元のFLOPの80%まで消去できることが示された。さらに重要な点として,ShuffleNet-v1では最新手法を上回り,最大1.84%の精度を達成した。さらに,本手法により,VGG-16は1.38$\times$スピードアップ,141MBのGPUメモリ削減を実現した。

関連論文リスト

Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文参考訳（メタデータ） (2023-10-23T01:25:44Z)
Learning Graph Neural Networks using Exact Compression [2.213723689024101]
大規模グラフ上でGNNを学習する際のメモリ要求を削減する方法として,正確な圧縮について検討する。特に,圧縮に対する形式的なアプローチを採用し,GNN学習問題を証明可能な等価な圧縮GNN学習問題に変換する手法を提案する。
論文参考訳（メタデータ） (2023-04-28T12:04:28Z)
Neurogenesis Dynamics-inspired Spiking Neural Network Training Acceleration [25.37391055865312]
スパイキングニューラルネットワーク(SNN)は、極めてエネルギー効率のよいマシンインテリジェンスを提供する能力に対して、大きな注目を集めている。ニューロジェネレーション・ダイナミクスにインスパイアされたスパイキングニューラルネットワークトレーニング・アクセラレーション・フレームワークであるNDSNNを提案する。我々のフレームワークは計算効率が高く、モデルの忠実さを犠牲にすることなく、スクラッチから動的間隔でモデルを訓練する。
論文参考訳（メタデータ） (2023-04-24T15:54:22Z)
Towards Sparsification of Graph Neural Networks [9.568566305616656]
我々は2つの最先端モデル圧縮手法を用いて、GNNにおける重み付け層の分散化を訓練・訓練し、スパーストレーニングを行う。実世界のグラフ上で,両手法の精度,訓練空間性,および FLOP の学習効率を評価し,比較する。
論文参考訳（メタデータ） (2022-09-11T01:39:29Z)
Greedy Network Enlarging [53.319011626986004]
本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。 GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
論文参考訳（メタデータ） (2021-07-31T08:36:30Z)
Training Graph Neural Networks with 1000 Layers [133.84813995275988]
我々は、GNNのメモリとパラメータ効率を向上させるために、可逆接続、グループ畳み込み、重み付け、平衡モデルについて検討する。我々の知る限りでは、RevGNN-Deepは文学で最も深いGNNである。
論文参考訳（メタデータ） (2021-06-14T15:03:00Z)
Pruning and Slicing Neural Networks using Formal Verification [0.2538209532048866]
ディープニューラルネットワーク(DNN)は、様々なコンピュータシステムにおいてますます重要な役割を担っている。これらのネットワークを作成するために、エンジニアは通常、望ましいトポロジを指定し、自動トレーニングアルゴリズムを使用してネットワークの重みを選択する。本稿では,近年のDNN検証の進歩を活用して,この問題に対処することを提案する。
論文参考訳（メタデータ） (2021-05-28T07:53:50Z)
Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
論文参考訳（メタデータ） (2020-12-10T22:30:25Z)
Auto Graph Encoder-Decoder for Neural Network Pruning [0.8164433158925593]
グラフニューラルネットワーク(GNN)と強化学習(RL)を組み合わせた自動グラフエンコーダデコーダモデル圧縮(AGMC)手法を提案する。その結果, 学習に基づくDNN埋め込みは, より優れた性能と, より少ない探索ステップで高い圧縮比が得られることがわかった。
論文参考訳（メタデータ） (2020-11-25T11:05:21Z)
Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文参考訳（メタデータ） (2019-10-12T22:07:15Z)
Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。