Fugu-MT 論文翻訳(概要): Subspace Node Pruning

論文の概要: Subspace Node Pruning

arxiv url: http://arxiv.org/abs/2405.17506v3
Date: Thu, 02 Oct 2025 09:34:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-03 16:59:19.46204
Title: Subspace Node Pruning
Title（参考訳）: Subspace Node Pruning
Authors: Joshua Offergeld, Marcel van Gerven, Nasir Ahmad,
Abstract要約: ノードプルーニング(node pruning)は、ニューロン、フィルター、アテンションヘッド、さらには層全体といった計算単位を除去する技術である。直交する単位の順序は、その冗長性によって最大ランクの単位に最適化できることを示す。提案手法は,ImageNet-trained VGG-16, ResNet-50, DeiTモデルにおいて, 最先端のプルーニング結果と一致するか, あるいは超える。
参考スコア（独自算出の注目度）: 1.0851051226732167
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Improving the efficiency of neural network inference is undeniably important in a time where commercial use of AI models increases daily. Node pruning is the art of removing computational units such as neurons, filters, attention heads, or even entire layers to significantly reduce inference time while retaining network performance. In this work, we propose the projection of unit activations to an orthogonal subspace in which there is no redundant activity and within which we may prune nodes while simultaneously recovering the impact of lost units via linear least squares. We furthermore show that the order in which units are orthogonalized can be optimized to maximally rank units by their redundancy. Finally, we leverage these orthogonal subspaces to automatically determine layer-wise pruning ratios based upon the relative scale of node activations in our subspace, equivalent to cumulative variance. Our method matches or exceeds state-of-the-art pruning results on ImageNet-trained VGG-16, ResNet-50 and DeiT models while simultaneously having up to 24x lower computational cost than alternative methods. We also demonstrate that this method can be applied in a one-shot manner to OPT LLM models, again outperforming competing methods.
Abstract（参考訳）: ニューラルネットワーク推論の効率性を改善することは、AIモデルの商用利用が毎日増加する時代において、間違いなく重要である。ノードプルーニング(ノードプルーニング)とは、ニューロン、フィルタ、アテンションヘッド、さらには層全体の計算単位を除去し、ネットワーク性能を維持しながら推論時間を著しく短縮する技術である。本研究では、冗長な活動が存在しない直交部分空間へのユニットアクティベーションのプロジェクションを提案し、その中にノードをプーンし、同時に損失ユニットの最小二乗による影響を回復する。さらに、直交する単位の順序は、その冗長性によって最大ランクの単位に最適化できることを示す。最後に、これらの直交部分空間を利用して、累積分散と等価な部分空間におけるノードアクティベーションの相対スケールに基づいて、レイヤーワイズプルーニング比を自動的に決定する。提案手法は,ImageNet-trained VGG-16, ResNet-50, DeiTモデル上での最先端のプルーニング結果と一致し, 計算コストを代替手法の最大24倍に抑える。また,この手法をOPT LLMモデルに適用し,競合する手法よりも優れていることを示す。

関連論文リスト

Simple Linear Neuron Boosting [0.0]
本稿では,Boosted Backpropagation を用いた関数空間におけるネットワークニューロンの最適化について検討する。適応的なステップサイズを持つオンライン行列自由学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2025-02-03T07:53:41Z)
Sparse Decomposition of Graph Neural Networks [20.768412002413843]
本稿では,集約中に含まれるノード数を削減する手法を提案する。線形変換された特徴の重み付け和を用いてノード表現の近似を学習し、スパース分解によりこれを実現できる。提案手法は推論高速化のために設計された他のベースラインよりも優れていることを示す。
論文参考訳（メタデータ） (2024-10-25T17:52:16Z)
Re-visiting Skip-Gram Negative Sampling: Dimension Regularization for More Efficient Dissimilarity Preservation in Graph Embeddings [8.858596502294471]
ノードワイドの反発は、集合的に、ノード埋め込み次元の近似的な再中心化であることを示す。本稿では,教師付きあるいは教師なしのアルゴリズムを高速化するアルゴリズム拡張フレームワークを提案する。
論文参考訳（メタデータ） (2024-04-30T19:43:01Z)
Efficient Link Prediction via GNN Layers Induced by Negative Sampling [92.05291395292537]
リンク予測のためのグラフニューラルネットワーク(GNN)は、緩やかに2つの広いカテゴリに分けられる。まず、Emphnode-wiseアーキテクチャは各ノードの個別の埋め込みをプリコンパイルし、後に単純なデコーダで結合して予測を行う。第二に、エンフェッジワイド法は、ペアワイド関係の表現を強化するために、エッジ固有のサブグラフ埋め込みの形成に依存している。
論文参考訳（メタデータ） (2023-10-14T07:02:54Z)
Reinforcement Learning for Node Selection in Branch-and-Bound [52.2648997215667]
現在の最先端セレクタは手作りのアンサンブルを使用して、ナイーブなサブノードセレクタと、個々のノードデータに依存する学習ノードセレクタを自動的に切り替える。孤立ノードではなく木の状態全体を考慮しながら強化学習(RL)を用いる新しいシミュレーション手法を提案する。
論文参考訳（メタデータ） (2023-09-29T19:55:56Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Learning Smooth Neural Functions via Lipschitz Regularization [92.42667575719048]
ニューラルフィールドにおけるスムーズな潜伏空間を促進するために設計された新しい正規化を導入する。従来のリプシッツ正規化ネットワークと比較して、我々のアルゴリズムは高速で、4行のコードで実装できる。
論文参考訳（メタデータ） (2022-02-16T21:24:54Z)
Layer Adaptive Node Selection in Bayesian Neural Networks: Statistical Guarantees and Implementation Details [0.5156484100374059]
スパースディープニューラルネットワークは、大規模研究において予測モデル構築に効率的であることが証明されている。本稿では,スパイク・アンド・スラブ型ガウス先行法を用いて,訓練中のノード選択を可能にするベイズスパース解を提案する。本研究は, 先行パラメータのキャラクタリゼーションとともに, 変動的後続一貫性の基本的な結果を確立する。
論文参考訳（メタデータ） (2021-08-25T00:48:07Z)
Basis Scaling and Double Pruning for Efficient Inference in Network-Based Transfer Learning [1.3467579878240454]
畳み込み層をフィルタとして正規基底ベクトルを持つ畳み込み層と、特徴を再スケーリングする"BasisScalingConv"層に分解する。 CIFAR-10では74.6%、MNISTでは98.9%のプルーニング比が得られる。
論文参考訳（メタデータ） (2021-08-06T00:04:02Z)
Joint Multi-Dimension Pruning via Numerical Gradient Update [120.59697866489668]
本稿では,空間,深さ,チャネルの3つの重要な側面において,ネットワークを同時に切断する方法であるジョイント・マルチディメンジョン・プルーニング(ジョイント・プルーニング)を提案する。本手法は,1つのエンドツーエンドトレーニングにおいて3次元にわたって協調的に最適化され,従来よりも効率がよいことを示す。
論文参考訳（メタデータ） (2020-05-18T17:57:09Z)
Controllable Orthogonalization in Training DNNs [96.1365404059924]
直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
論文参考訳（メタデータ） (2020-04-02T10:14:27Z)
DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
論文参考訳（メタデータ） (2020-03-30T17:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。