論文の概要: Spatial Re-parameterization for N:M Sparsity

• arxiv url: http://arxiv.org/abs/2306.05612v2
• Date: Thu, 14 Nov 2024 15:22:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:22:14.853405
• Title: Spatial Re-parameterization for N:M Sparsity
• Title（参考訳）: N:M間隔の空間的再パラメータ化
• Authors: Yuxin Zhang, Mingliang Xu, Yonghong Tian, Rongrong Ji,
• Abstract要約: N:M間隔は空間領域内で一定の間隔率を示す。 構造のない空間は 空間領域をまたがる 空間の空間性にかなりのばらつきを 示しています SpReは、N:Mのスパーシリティ法と最先端の非構造化のスパーシティ法のパフォーマンスをマッチングすることで、賞賛できる偉業を成し遂げた。
• 参考スコア（独自算出の注目度）: 92.72334929464013
• License:
• Abstract: This paper presents a Spatial Re-parameterization (SpRe) method for the N:M sparsity in CNNs. SpRe is stemmed from an observation regarding the restricted variety in spatial sparsity present in N:M sparsity compared with unstructured sparsity. Particularly, N:M sparsity exhibits a fixed sparsity rate within the spatial domains due to its distinctive pattern that mandates N non-zero components among M successive weights in the input channel dimension of convolution filters. On the contrary, we observe that unstructured sparsity displays a substantial divergence in sparsity across the spatial domains, which we experimentally verified to be very crucial for its robust performance retention compared with N:M sparsity. Therefore, SpRe employs the spatial-sparsity distribution of unstructured sparsity to assign an extra branch in conjunction with the original N:M branch at training time, which allows the N:M sparse network to sustain a similar distribution of spatial sparsity with unstructured sparsity. During inference, the extra branch can be further re-parameterized into the main N:M branch, without exerting any distortion on the sparse pattern or additional computation costs. SpRe has achieved a commendable feat by matching the performance of N:M sparsity methods with state-of-the-art unstructured sparsity methods across various benchmarks. Code and models are anonymously available at \url{https://github.com/zyxxmu/SpRe}.
• Abstract（参考訳）: 本稿では,CNNにおけるN:M空間の空間的再パラメータ化(SpRe)手法を提案する。 SpReは、N:M空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間の空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間空間 特に、N:M間隔は、畳み込みフィルタの入力チャネル次元において、M の連続重みのうち N 個の非零成分を割り当てる独特のパターンにより、空間領域内で一定の間隔率を示す。 逆に,非構造的空間は空間領域間の空間性にかなりのばらつきがあることが観察され,N:M空間性と比較して頑健な性能維持に極めて重要であることが実験的に確認された。 そのため、SpReは、非構造空間の空間スパース分布を用いて、トレーニング時に元のN:Mブランチと共に余分な分岐を割り当て、N:Mスパースネットワークは非構造空間スパースと同じような空間スパース分布を維持することができる。 推論中、余分な分岐はスパースパターンや追加の計算コストに歪みを生じさせることなく、主N:Mブランチに再パラメータ化することができる。 SpReは、N:Mスペーサリティ法と最先端の非構造化スペーサリティ法のパフォーマンスを様々なベンチマークで一致させることで、賞賛できる偉業を成し遂げた。 コードとモデルは匿名で \url{https://github.com/zyxxmu/SpRe} で入手できる。

関連論文リスト

• Toward Efficient Permutation for Hierarchical N:M Sparsity on GPUs [1.3124513975412255]
  N:Mスパシティ・プルーニングは、ディープニューラルネットワークを圧縮する強力な技術である。 ジャイロ置換(gyro-permutation)と呼ばれるHiNM空間に特化して設計されたチャネル置換法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T01:40:50Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
  離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。 最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
  論文  参考訳（メタデータ） (2022-09-16T22:09:53Z)
• Training Recipe for N:M Structured Sparsity with Decaying Pruning Mask [8.02992650002693]
  モデル精度と計算コストのトレードオフの観点から,N:M空間の様々なトレーニングレシピについて検討し,評価を行った。 我々は,2つの新しい崩壊に基づくプルーニング法,すなわち「プルーニングマスク崩壊」と「スパース構造崩壊」を提案する。 評価の結果,提案手法は非構造空間に匹敵する精度のSOTA(State-of-the-art)モデルを実現することがわかった。
  論文  参考訳（メタデータ） (2022-09-15T21:30:55Z)
• Training Structured Neural Networks Through Manifold Identification and Variance Reduction [8.528384027684194]
  本稿では,ニューラルネットワーク(NN)を学習するためのアルゴリズム(RMDA)を提案する。 RMDAは運動量の増加に余分な計算を行わず、目的関数を有限サム形式にすることなく分散還元を達成する。
  論文  参考訳（メタデータ） (2021-12-05T16:23:53Z)
• Deep Stable neural networks: large-width asymptotics and convergence rates [3.0108936184913295]
  NNの層上に幅が無限大になるにつれて、適切な再スケールされたディープ・スタブル・NNは安定SPに弱収束することを示す。 非三角形NNの構造のため、これは非標準問題であり、新しい自己完結型帰納的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-08-02T12:18:00Z)
• Learning Generative Prior with Latent Space Sparsity Constraints [25.213673771175692]
  自然像の分布は1つの多様体にではなく、むしろいくつかの部分多様体の結合にあると論じられている。 本稿では,スペーサ性駆動型潜時空間サンプリング(SDLSS)フレームワークを提案し,PMLアルゴリズムを用いて潜時空間のスペーサ性を実現する。 その結果, SDLSS法は, 高次圧縮では最先端法よりも効率が高いことがわかった。
  論文  参考訳（メタデータ） (2021-05-25T14:12:04Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• Distribution Approximation and Statistical Estimation Guarantees of Generative Adversarial Networks [82.61546580149427]
  GAN(Generative Adversarial Networks)は教師なし学習において大きな成功を収めている。 本稿では,H'older空間における密度データ分布推定のためのGANの近似と統計的保証を提供する。
  論文  参考訳（メタデータ） (2020-02-10T16:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。