論文の概要: Subspace Node Pruning
- arxiv url: http://arxiv.org/abs/2405.17506v1
- Date: Sun, 26 May 2024 14:27:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 23:50:45.004677
- Title: Subspace Node Pruning
- Title(参考訳): Subspace Node Pruning
- Authors: Joshua Offergeld, Marcel van Gerven, Nasir Ahmad,
- Abstract要約: ノードプルーニング(node pruning)は、ネットワーク性能を最大に保ちながら、計算ユニットを除去する技術である。
プルーニング中にネットワークパラメータを再編成することで、パフォーマンスを回復する能力を利用した以前の研究はほとんどない。
本手法は,残余ネットワークなど他のネットワークアーキテクチャにも拡張可能であることを示す。
- 参考スコア(独自算出の注目度): 2.3125457626961263
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A significant increase in the commercial use of deep neural network models increases the need for efficient AI. Node pruning is the art of removing computational units such as neurons, filters, attention heads, or even entire layers while keeping network performance at a maximum. This can significantly reduce the inference time of a deep network and thus enhance its efficiency. Few of the previous works have exploited the ability to recover performance by reorganizing network parameters while pruning. In this work, we propose to create a subspace from unit activations which enables node pruning while recovering maximum accuracy. We identify that for effective node pruning, a subspace can be created using a triangular transformation matrix, which we show to be equivalent to Gram-Schmidt orthogonalization, which automates this procedure. We further improve this method by reorganizing the network prior to subspace formation. Finally, we leverage the orthogonal subspaces to identify layer-wise pruning ratios appropriate to retain a significant amount of the layer-wise information. We show that this measure outperforms existing pruning methods on VGG networks. We further show that our method can be extended to other network architectures such as residual networks.
- Abstract(参考訳): ディープニューラルネットワークモデルの商用利用が大幅に増加したことで、効率的なAIの必要性が高まっている。
ノードプルーニング(ノードプルーニング)とは、ニューロン、フィルタ、アテンションヘッド、さらには層全体の計算ユニットを除去し、ネットワーク性能を最大に保つ技術である。
これにより、ディープネットワークの推論時間が大幅に短縮され、効率が向上する。
プルーニング中にネットワークパラメータを再編成することで、パフォーマンスを回復する能力を利用した以前の研究はほとんどない。
本研究では,最大精度を回復しながらノードのプルーニングを可能にするユニットアクティベーションからサブスペースを作成することを提案する。
実効ノードプルーニングでは, 三角変換行列を用いて部分空間を作成でき, この手順を自動化したGram-Schmidt直交化と同値であることを示す。
サブスペース形成前にネットワークを再編成することで,この手法をさらに改良する。
最後に、直交部分空間を利用して、レイヤーワイド情報のかなりの量の保持に適した層ワイドプルーニング比を同定する。
本稿では,VGGネットワーク上での既存のプルーニング手法よりも優れた性能を示す。
さらに,残余ネットワークなど他のネットワークアーキテクチャにも拡張可能であることを示す。
関連論文リスト
- Sparse Decomposition of Graph Neural Networks [20.768412002413843]
本稿では,集約中に含まれるノード数を削減する手法を提案する。
線形変換された特徴の重み付け和を用いてノード表現の近似を学習し、スパース分解によりこれを実現できる。
提案手法は推論高速化のために設計された他のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2024-10-25T17:52:16Z) - Re-visiting Skip-Gram Negative Sampling: Dimension Regularization for More Efficient Dissimilarity Preservation in Graph Embeddings [8.858596502294471]
ノードワイドの反発は、集合的に、ノード埋め込み次元の近似的な再中心化であることを示す。
本稿では,教師付きあるいは教師なしのアルゴリズムを高速化するアルゴリズム拡張フレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-30T19:43:01Z) - Efficient Link Prediction via GNN Layers Induced by Negative Sampling [92.05291395292537]
リンク予測のためのグラフニューラルネットワーク(GNN)は、緩やかに2つの広いカテゴリに分けられる。
まず、Emphnode-wiseアーキテクチャは各ノードの個別の埋め込みをプリコンパイルし、後に単純なデコーダで結合して予測を行う。
第二に、エンフェッジワイド法は、ペアワイド関係の表現を強化するために、エッジ固有のサブグラフ埋め込みの形成に依存している。
論文 参考訳(メタデータ) (2023-10-14T07:02:54Z) - Reinforcement Learning for Node Selection in Branch-and-Bound [52.2648997215667]
現在の最先端セレクタは手作りのアンサンブルを使用して、ナイーブなサブノードセレクタと、個々のノードデータに依存する学習ノードセレクタを自動的に切り替える。
孤立ノードではなく木の状態全体を考慮しながら強化学習(RL)を用いる新しいシミュレーション手法を提案する。
論文 参考訳(メタデータ) (2023-09-29T19:55:56Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Learning Smooth Neural Functions via Lipschitz Regularization [92.42667575719048]
ニューラルフィールドにおけるスムーズな潜伏空間を促進するために設計された新しい正規化を導入する。
従来のリプシッツ正規化ネットワークと比較して、我々のアルゴリズムは高速で、4行のコードで実装できる。
論文 参考訳(メタデータ) (2022-02-16T21:24:54Z) - Layer Adaptive Node Selection in Bayesian Neural Networks: Statistical
Guarantees and Implementation Details [0.5156484100374059]
スパースディープニューラルネットワークは、大規模研究において予測モデル構築に効率的であることが証明されている。
本稿では,スパイク・アンド・スラブ型ガウス先行法を用いて,訓練中のノード選択を可能にするベイズスパース解を提案する。
本研究は, 先行パラメータのキャラクタリゼーションとともに, 変動的後続一貫性の基本的な結果を確立する。
論文 参考訳(メタデータ) (2021-08-25T00:48:07Z) - Basis Scaling and Double Pruning for Efficient Inference in
Network-Based Transfer Learning [1.3467579878240454]
畳み込み層をフィルタとして正規基底ベクトルを持つ畳み込み層と、特徴を再スケーリングする"BasisScalingConv"層に分解する。
CIFAR-10では74.6%、MNISTでは98.9%のプルーニング比が得られる。
論文 参考訳(メタデータ) (2021-08-06T00:04:02Z) - Joint Multi-Dimension Pruning via Numerical Gradient Update [120.59697866489668]
本稿では,空間,深さ,チャネルの3つの重要な側面において,ネットワークを同時に切断する方法であるジョイント・マルチディメンジョン・プルーニング(ジョイント・プルーニング)を提案する。
本手法は,1つのエンドツーエンドトレーニングにおいて3次元にわたって協調的に最適化され,従来よりも効率がよいことを示す。
論文 参考訳(メタデータ) (2020-05-18T17:57:09Z) - Controllable Orthogonalization in Training DNNs [96.1365404059924]
直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。
本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。
本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。
また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
論文 参考訳(メタデータ) (2020-04-02T10:14:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。