論文の概要: RGP: Neural Network Pruning through Its Regular Graph Structure

• arxiv url: http://arxiv.org/abs/2110.15192v1
• Date: Thu, 28 Oct 2021 15:08:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-29 14:19:49.214810
• Title: RGP: Neural Network Pruning through Its Regular Graph Structure
• Title（参考訳）: RGP: ニューラルネットワークの正規グラフ構造によるプルーニング
• Authors: Zhuangzhi Chen, Jingyang Xiang, Yao Lu, Qi Xuan
• Abstract要約: 本稿では,ニューラルネットワークのグラフ構造について検討し,レギュラーグラフベースプルーニング(RGP)を提案し,ワンショットニューラルネットワークプルーニングを行う。 実験の結果,グラフの平均最短経路長は,対応するニューラルネットワークの分類精度と負の相関が認められた。
• 参考スコア（独自算出の注目度）: 6.0686251332936365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lightweight model design has become an important direction in the application of deep learning technology, pruning is an effective mean to achieve a large reduction in model parameters and FLOPs. The existing neural network pruning methods mostly start from the importance of parameters, and design parameter evaluation metrics to perform parameter pruning iteratively. These methods are not studied from the perspective of model topology, may be effective but not efficient, and requires completely different pruning for different datasets. In this paper, we study the graph structure of the neural network, and propose regular graph based pruning (RGP) to perform a one-shot neural network pruning. We generate a regular graph, set the node degree value of the graph to meet the pruning ratio, and reduce the average shortest path length of the graph by swapping the edges to obtain the optimal edge distribution. Finally, the obtained graph is mapped into a neural network structure to realize pruning. Experiments show that the average shortest path length of the graph is negatively correlated with the classification accuracy of the corresponding neural network, and the proposed RGP shows a strong precision retention capability with extremely high parameter reduction (more than 90%) and FLOPs reduction (more than 90%).
• Abstract（参考訳）: 軽量モデル設計はディープラーニング技術の応用において重要な方向性となり、プルーニングはモデルパラメータとFLOPの大幅な削減を実現する効果的な手段となっている。 既存のニューラルネットワークプルーニング手法は主にパラメータの重要性から始まり、パラメータプルーニングを反復的に実行するためのパラメータ評価指標を設計する。 これらの手法はモデルトポロジの観点からは研究されておらず、効率的ではあるが効率的ではない可能性がある。 本稿では,ニューラルネットワークのグラフ構造について検討し,レギュラーグラフベースプルーニング(RGP)を提案し,ワンショットニューラルネットワークプルーニングを行う。 我々は、正規グラフを生成し、グラフのノード次数値をプルーニング比に合わせるように設定し、エッジを交換することでグラフの平均最短経路長を減らし、最適なエッジ分布を得る。 最後に、得られたグラフをニューラルネットワーク構造にマッピングしてプルーニングを実現する。 実験により、グラフの平均最短経路長は、対応するニューラルネットワークの分類精度と負の相関を示し、提案するrppは、非常に高いパラメータ低減(90%以上)とフラップ削減(90%以上)を持つ強い精度保持能力を示す。

関連論文リスト

• Sparse Decomposition of Graph Neural Networks [20.768412002413843]
  本稿では,集約中に含まれるノード数を削減する手法を提案する。 線形変換された特徴の重み付け和を用いてノード表現の近似を学習し、スパース分解によりこれを実現できる。 提案手法は推論高速化のために設計された他のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-25T17:52:16Z)
• Spatiotemporal Forecasting Meets Efficiency: Causal Graph Process Neural Networks [5.703629317205571]
  Causal Graph Graph Processs (CGP) は、リレーショナルフィールド層の代わりにグラフフィルタを使用してパラメータを削減し、メモリ消費を最小限にする代替手段を提供する。 本稿では,CGPとGNNを組み合わせて時間予測を行う非線形モデルを提案する。CGProNetは高階グラフフィルタを採用し,パラメータの少ないモデルに最適化し,メモリ使用量を削減し,実行効率を向上させる。
  論文  参考訳（メタデータ） (2024-05-29T08:37:48Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
  我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。 具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T05:24:18Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Scaling Up Graph Neural Networks Via Graph Coarsening [18.176326897605225]
  グラフニューラルネットワーク(GNN)のスケーラビリティは、マシンラーニングにおける大きな課題のひとつだ。 本稿では,GNNのスケーラブルなトレーニングにグラフ粗大化を用いることを提案する。 既成の粗大化法を単純に適用すれば,分類精度を著しく低下させることなく,ノード数を最大10倍に削減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T15:46:17Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• RicciNets: Curvature-guided Pruning of High-performance Neural Networks Using Ricci Flow [0.0]
  計算グラフをニューラルネットワークにマッピングする前に、Ricci曲率の定義を用いて、重要度の低いエッジを除去する。 1パスあたりの浮動小数点演算数(FLOP)が約35%削減されるが、性能は低下しない。
  論文  参考訳（メタデータ） (2020-07-08T15:56:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。