論文の概要: Accelerated Sparse Neural Training: A Provable and Efficient Method to
Find N:M Transposable Masks
- arxiv url: http://arxiv.org/abs/2102.08124v1
- Date: Tue, 16 Feb 2021 12:44:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-17 22:05:15.101645
- Title: Accelerated Sparse Neural Training: A Provable and Efficient Method to
Find N:M Transposable Masks
- Title（参考訳）: 高速スパースニューラルトレーニング:N:Mトランスポーザブルマスクを見つけるための確率的で効率的な方法
- Authors: Itay Hubara, Brian Chmiel, Moshe Island, Ron Banner, Seffi Naor,
Daniel Soudry
- Abstract要約: 最近、研究者はN:M$のきめ細かいブロック空間マスクを使用してディープニューラルネットワーク重み(DNN)を刈り取ることを提案した。
前方と後方の両方に同じマスクを使用できる新しいトランスポジブル細粒スパーシティマスクを提案します。
実験では,視覚モデルと言語モデルに対する精度低下を伴わない2倍の速度アップを提案する。
- 参考スコア（独自算出の注目度）: 28.498176073737422
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, researchers proposed pruning deep neural network weights (DNNs)
using an $N:M$ fine-grained block sparsity mask. In this mask, for each block
of $M$ weights, we have at least $N$ zeros. In contrast to unstructured
sparsity, $N:M$ fine-grained block sparsity allows acceleration in actual
modern hardware. So far, this was used for DNN acceleration at the inference
phase. First, we suggest a method to convert a pretrained model with
unstructured sparsity to a $N:M$ fine-grained block sparsity model, with little
to no training. Then, to also allow such acceleration in the training phase, we
suggest a novel transposable-fine-grained sparsity mask where the same mask can
be used for both forward and backward passes. Our transposable mask ensures
that both the weight matrix and its transpose follow the same sparsity pattern;
thus the matrix multiplication required for passing the error backward can also
be accelerated. We discuss the transposable constraint and devise a new measure
for mask constraints, called mask-diversity (MD), which correlates with their
expected accuracy. Then, we formulate the problem of finding the optimal
transposable mask as a minimum-cost-flow problem and suggest a fast linear
approximation that can be used when the masks dynamically change while
training. Our experiments suggest 2x speed-up with no accuracy degradation over
vision and language models. A reference implementation can be found at
https://github.com/papers-submission/structured_transposable_masks.
- Abstract（参考訳）: 最近、研究者はN:M$のきめ細かいブロック空間マスクを使用してディープニューラルネットワーク重み(DNN)を刈り取ることを提案した。
このマスクでは、$m$のウェイトのブロックごとに、少なくとも$n$0の値があります。
構造化されていないスパーシリティとは対照的に、$N:M$ きめ細かいブロックスペーシリティは、現在のハードウェアでアクセラレーションを可能にする。
これまでのところ、これは推論段階でのDNN加速に使われていた。
まず,非構造的間隔を持つ事前学習モデルに対して,訓練をほとんど行わずに,N:M$きめ細かいブロック間隔モデルに変換する手法を提案する。
そして, トレーニング段階においてそのような加速を許容するために, 同じマスクを前方・後方の両方に使用可能な, トランスポーザブル粒径のスペーサマスクを提案する。
転置可能なマスクは重み行列とその転置体が同じスパーシティパターンに従うことを保証するので、誤差を後方に渡すのに必要な行列の乗算も促進できる。
提案可能な制約を議論し、マスクの精度と相関するマスク分散(MD)と呼ばれる新しいマスク制約の尺度を考案する。
そこで,最適トランスポーザブルマスクを最小コストのフロー問題とする問題を定式化し,トレーニング中にマスクが動的に変化する場合に使用できる高速線形近似を提案する。
実験では,視覚モデルと言語モデルに対する精度低下を伴わない2倍の速度アップを提案する。
参照実装はhttps://github.com/papers-submission/structured_transposable_masksにある。
関連論文リスト
- MaskLLM: Learnable Semi-Structured Sparsity for Large Language Models [91.4190318047519]
この研究は、大規模言語モデルにおける半構造化(あるいはN:M'')のスパーシティを確立する学習可能なプルーニング手法であるMaskLLMを紹介した。
MaskLLMはGumbel Softmaxサンプリングを通じて学習可能な分布としてN:Mパターンを明示的にモデル化する。
論文 参考訳（メタデータ） (2024-09-26T02:37:41Z) - MP-Former: Mask-Piloted Transformer for Image Segmentation [16.620469868310288]
Mask2Formerはデコーダ層間の一貫性のないマスク予測に悩まされている。
本手法では,マスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスのマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスをマスマスマスマストした。
論文 参考訳（メタデータ） (2023-03-13T17:57:59Z) - Bi-directional Masks for Efficient N:M Sparse Training [64.9617631724811]
両方向マスク (Bi-Mask) の2つの中心的革新を取り入れた新しい手法を提案する。
前方と後方の重量空間を乱し、非常に密度の高い勾配を乗り越える。
トランスポーザブルマスクを応用し、後方加速を可能にする既存の一方向シナリオと比較して、我々のBi-Maskは性能がより優れていることを実験的に実証した。
論文 参考訳（メタデータ） (2023-02-13T02:32:02Z) - Towards Improved Input Masking for Convolutional Neural Networks [66.99060157800403]
層マスキングと呼ぶCNNのための新しいマスキング手法を提案する。
本手法は,マスク形状や色がモデル出力に与える影響を排除あるいは最小化することができることを示す。
また,マスクの形状がクラスに関する情報を漏洩させる可能性を示し,クラス関連特徴に対するモデル依存度の推定に影響を及ぼすことを示した。
論文 参考訳（メタデータ） (2022-11-26T19:31:49Z) - Mask Transfiner for High-Quality Instance Segmentation [95.74244714914052]
高品質で効率的なインスタンスセグメンテーションのためのMask Transfinerを提案する。
当社のアプローチでは, エラーが発生しやすい木ノードを検出し, エラーを並列に自己修正する。
私たちのコードとトレーニングされたモデルは、http://vis.xyz/pub/transfiner.comで公開されます。
論文 参考訳（メタデータ） (2021-11-26T18:58:22Z) - KSM: Fast Multiple Task Adaption via Kernel-wise Soft Mask Learning [49.77278179376902]
Deep Neural Networks (DNN)は、新しいタスクを学ぶときの以前のタスクに関する知識を忘れることができ、これはtextitcatastrophic forgettingとして知られている。
最近の連続学習手法は、玩具サイズのデータセットにおける破滅的な問題を緩和することができる。
我々は,各タスクに対して,カーネルワイドなハイブリッドな2値マスクと実値のソフトマスクを学習する,textit- Kernel-wise Soft Mask (KSM) と呼ばれる新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2020-09-11T21:48:39Z) - BlendMask: Top-Down Meets Bottom-Up for Instance Segmentation [103.74690082121079]
本研究では,インスタンスレベルの情報とセマンティックな情報と,低レベルの微細な粒度を効果的に組み合わせることで,マスク予測の改善を実現する。
私たちの主な貢献は、トップダウンとボトムアップの両方のインスタンスセグメンテーションアプローチからインスピレーションを得たブレンダーモジュールです。
BlendMaskは、非常に少ないチャネルで、ピクセルあたりの高密度な位置感受性インスタンス機能を効果的に予測し、単一の畳み込み層で各インスタンスの注意マップを学習することができる。
論文 参考訳（メタデータ） (2020-01-02T03:30:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。