論文の概要: Subspace Node Pruning

• arxiv url: http://arxiv.org/abs/2405.17506v2
• Date: Tue, 01 Oct 2024 18:07:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:19:18.014478
• Title: Subspace Node Pruning
• Title（参考訳）: Subspace Node Pruning
• Authors: Joshua Offergeld, Marcel van Gerven, Nasir Ahmad,
• Abstract要約: ノードプルーニング(node pruning)とは、ニューロン、フィルタ、アテンションヘッド、さらには層全体といった計算単位を除去し、ネットワーク性能を維持しながら推論時間を著しく短縮する技術である。 本研究では、余剰な活動が存在しない直交部分空間へのユニットアクティベーションのプロジェクションを提案し、損失ユニットの影響を同時に回復しながらノードをプーンする。 提案手法は,ImageNet が訓練した VGG-16 で,ResNet-50 ネットワークを刈り取る場合のより複雑な手法と競合する。
• 参考スコア（独自算出の注目度）: 2.3125457626961263
• License:
• Abstract: Efficiency of neural network inference is undeniably important in a time where commercial use of AI models increases daily. Node pruning is the art of removing computational units such as neurons, filters, attention heads, or even entire layers to significantly reduce inference time while retaining network performance. In this work, we propose the projection of unit activations to an orthogonal subspace in which there is no redundant activity and within which we may prune nodes while simultaneously recovering the impact of lost units via linear least squares. We identify that, for effective node pruning, this subspace must be constructed using a triangular transformation matrix, a transformation which is equivalent to and unnormalized Gram-Schmidt orthogonalization. We furthermore show that the order in which units are orthogonalized can be optimised to maximally reduce node activations in our subspace and thereby form a more optimal ranking of nodes. Finally, we leverage these orthogonal subspaces to automatically determine layer-wise pruning ratios based upon the relative scale of node activations in our subspace, equivalent to cumulative variance. Our proposed method reaches state of the art when pruning ImageNet trained VGG-16 and rivals more complex state of the art methods when pruning ResNet-50 networks across a range of pruning ratios.
• Abstract（参考訳）: ニューラルネットワーク推論の効率性は、AIモデルの商用利用が毎日増加する時代には、間違いなく重要である。 ノードプルーニング(ノードプルーニング)とは、ニューロン、フィルタ、アテンションヘッド、さらには層全体の計算単位を除去し、ネットワーク性能を維持しながら推論時間を著しく短縮する技術である。 本研究では、冗長な活動が存在しない直交部分空間へのユニットアクティベーションのプロジェクションを提案し、その中にノードをプーンし、同時に損失ユニットの最小二乗による影響を回復する。 実効的なノードプルーニングでは、この部分空間は三角変換行列(非正規化Gram-Schmidt直交化と同値な変換)を用いて構築されなければならない。 さらに、直交する単位の順序を最適化して、我々の部分空間におけるノードの活性化を最大に減らし、それによってより最適なノードのランク付けができることを示す。 最後に、これらの直交部分空間を利用して、累積分散と等価な部分空間におけるノードアクティベーションの相対スケールに基づいて、レイヤーワイズプルーニング比を自動的に決定する。 提案手法は,イメージネットが訓練したVGG-16をプルーニングした場合に最先端に到達し,ResNet-50ネットワークをプルーニング比の範囲でプルーニングする場合に,より複雑な最先端の手法と競合する。

関連論文リスト

• Sparse Decomposition of Graph Neural Networks [20.768412002413843]
  本稿では,集約中に含まれるノード数を削減する手法を提案する。 線形変換された特徴の重み付け和を用いてノード表現の近似を学習し、スパース分解によりこれを実現できる。 提案手法は推論高速化のために設計された他のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-25T17:52:16Z)
• Re-visiting Skip-Gram Negative Sampling: Dimension Regularization for More Efficient Dissimilarity Preservation in Graph Embeddings [8.858596502294471]
  ノードワイドの反発は、集合的に、ノード埋め込み次元の近似的な再中心化であることを示す。 本稿では,教師付きあるいは教師なしのアルゴリズムを高速化するアルゴリズム拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-30T19:43:01Z)
• Efficient Link Prediction via GNN Layers Induced by Negative Sampling [92.05291395292537]
  リンク予測のためのグラフニューラルネットワーク(GNN)は、緩やかに2つの広いカテゴリに分けられる。 まず、Emphnode-wiseアーキテクチャは各ノードの個別の埋め込みをプリコンパイルし、後に単純なデコーダで結合して予測を行う。 第二に、エンフェッジワイド法は、ペアワイド関係の表現を強化するために、エッジ固有のサブグラフ埋め込みの形成に依存している。
  論文  参考訳（メタデータ） (2023-10-14T07:02:54Z)
• Reinforcement Learning for Node Selection in Branch-and-Bound [52.2648997215667]
  現在の最先端セレクタは手作りのアンサンブルを使用して、ナイーブなサブノードセレクタと、個々のノードデータに依存する学習ノードセレクタを自動的に切り替える。 孤立ノードではなく木の状態全体を考慮しながら強化学習(RL)を用いる新しいシミュレーション手法を提案する。
  論文  参考訳（メタデータ） (2023-09-29T19:55:56Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Learning Smooth Neural Functions via Lipschitz Regularization [92.42667575719048]
  ニューラルフィールドにおけるスムーズな潜伏空間を促進するために設計された新しい正規化を導入する。 従来のリプシッツ正規化ネットワークと比較して、我々のアルゴリズムは高速で、4行のコードで実装できる。
  論文  参考訳（メタデータ） (2022-02-16T21:24:54Z)
• Layer Adaptive Node Selection in Bayesian Neural Networks: Statistical Guarantees and Implementation Details [0.5156484100374059]
  スパースディープニューラルネットワークは、大規模研究において予測モデル構築に効率的であることが証明されている。 本稿では,スパイク・アンド・スラブ型ガウス先行法を用いて,訓練中のノード選択を可能にするベイズスパース解を提案する。 本研究は, 先行パラメータのキャラクタリゼーションとともに, 変動的後続一貫性の基本的な結果を確立する。
  論文  参考訳（メタデータ） (2021-08-25T00:48:07Z)
• Basis Scaling and Double Pruning for Efficient Inference in Network-Based Transfer Learning [1.3467579878240454]
  畳み込み層をフィルタとして正規基底ベクトルを持つ畳み込み層と、特徴を再スケーリングする"BasisScalingConv"層に分解する。 CIFAR-10では74.6%、MNISTでは98.9%のプルーニング比が得られる。
  論文  参考訳（メタデータ） (2021-08-06T00:04:02Z)
• Joint Multi-Dimension Pruning via Numerical Gradient Update [120.59697866489668]
  本稿では,空間,深さ,チャネルの3つの重要な側面において,ネットワークを同時に切断する方法であるジョイント・マルチディメンジョン・プルーニング(ジョイント・プルーニング)を提案する。 本手法は,1つのエンドツーエンドトレーニングにおいて3次元にわたって協調的に最適化され,従来よりも効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-05-18T17:57:09Z)
• Controllable Orthogonalization in Training DNNs [96.1365404059924]
  直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。 本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。 本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。 また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
  論文  参考訳（メタデータ） (2020-04-02T10:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。