論文の概要: MaxQ: Multi-Axis Query for N:M Sparsity Network

• arxiv url: http://arxiv.org/abs/2312.07061v2
• Date: Sun, 17 Mar 2024 03:17:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 02:42:50.091967
• Title: MaxQ: Multi-Axis Query for N:M Sparsity Network
• Title（参考訳）: MaxQ: N:Mスパシティネットワークのためのマルチアクシスクエリ
• Authors: Jingyang Xiang, Siqi Li, Junhao Chen, Zhuangzhi Chen, Tianxin Huang, Linpeng Peng, Yong Liu,
• Abstract要約: MaxQは様々なコンピュータビジョンタスクにおいて、多様なCNNアーキテクチャで一貫した改善を実現している。 実験の結果、MaxQはImageNetで74.6%の精度を達成でき、最先端よりも2.8%以上改善できることがわかった。
• 参考スコア（独自算出の注目度）: 16.033223841268747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: N:M sparsity has received increasing attention due to its remarkable performance and latency trade-off compared with structured and unstructured sparsity. However, existing N:M sparsity methods do not differentiate the relative importance of weights among blocks and leave important weights underappreciated. Besides, they directly apply N:M sparsity to the whole network, which will cause severe information loss. Thus, they are still sub-optimal. In this paper, we propose an efficient and effective Multi-Axis Query methodology, dubbed as MaxQ, to rectify these problems. During the training, MaxQ employs a dynamic approach to generate soft N:M masks, considering the weight importance across multiple axes. This method enhances the weights with more importance and ensures more effective updates. Meanwhile, a sparsity strategy that gradually increases the percentage of N:M weight blocks is applied, which allows the network to heal from the pruning-induced damage progressively. During the runtime, the N:M soft masks can be precomputed as constants and folded into weights without causing any distortion to the sparse pattern and incurring additional computational overhead. Comprehensive experiments demonstrate that MaxQ achieves consistent improvements across diverse CNN architectures in various computer vision tasks, including image classification, object detection and instance segmentation. For ResNet50 with 1:16 sparse pattern, MaxQ can achieve 74.6\% top-1 accuracy on ImageNet and improve by over 2.8\% over the state-of-the-art. Codes and checkpoints are available at \url{https://github.com/JingyangXiang/MaxQ}.
• Abstract（参考訳）: N:Mスパシティは、構造化および非構造化のスパシティと比較して、顕著なパフォーマンスと遅延トレードオフのために注目されている。 しかし、既存のN:Mスパシティ法はブロック間の重みの相対的重要性を区別せず、重要な重みを過小評価している。 さらに、ネットワーク全体にN:M空間を直接適用し、深刻な情報損失を引き起こす。 したがって、それらはまだ準最適である。 本稿では,これらの問題を修正するために,MaxQと呼ばれる効率的かつ効果的なマルチアクシスクエリ手法を提案する。 訓練中、マックスQは複数の軸にまたがる重みの重要性を考慮して、ソフトなN:Mマスクを生成するためにダイナミックなアプローチを採用している。 この方法は重みを重要視し、より効果的な更新を保証する。 一方、N:M重みブロックの割合を徐々に増加させるスペーサ戦略が適用され、プルーニングによる損傷からネットワークが徐々に修復される。 実行中、N:Mソフトマスクは定数としてプリ計算され、スパースパターンに歪みを生じさせることなく重みに折り畳まれる。 総合的な実験により、MaxQは画像分類、オブジェクト検出、インスタンスセグメンテーションを含む様々なコンピュータビジョンタスクにおいて、多様なCNNアーキテクチャ間で一貫した改善を達成している。 1:16スパースパターンのResNet50では、MaxQはImageNetで74.6\%のトップ-1の精度を達成でき、最先端よりも2.8\%以上改善できる。 コードとチェックポイントは \url{https://github.com/JingyangXiang/MaxQ} で入手できる。

関連論文リスト

• Post-Training Quantization for Re-parameterization via Coarse & Fine Weight Splitting [13.270381125055275]
  本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。 我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。 例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
  論文  参考訳（メタデータ） (2023-12-17T02:31:20Z)
• Multicoated and Folded Graph Neural Networks with Strong Lottery Tickets [3.0894823679470087]
  本稿では,アーキテクチャとパラメータの両面から検索空間を拡張するためのマルチステージ・フォールディング法とアンシャレッド・マスク法を提案する。 高空間性、競争性能、高メモリ効率を最大98.7%の削減で達成することにより、エネルギー効率の高いグラフ処理に適していることを示す。
  論文  参考訳（メタデータ） (2023-12-06T02:16:44Z)
• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• Weight Fixing Networks [0.0]
  ネットワーク内の一意なパラメータのエントロピーと数を最小化するために、ネットワーク全体の量子化を検討する。 そこで本研究では,4つのモデル結果の目標を実現するために,WFN(Weight Fixing Networks)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T19:18:02Z)
• Parameter-Efficient Masking Networks [61.43995077575439]
  先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。 本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。 これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
  論文  参考訳（メタデータ） (2022-10-13T03:39:03Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Optimizing Gradient-driven Criteria in Network Sparsity: Gradient is All You Need [74.58939318994746]
  勾配駆動のスパーシリティは、ネットワークの複雑さを減らすために使用される。 ウェイト独立は、ウェイトが相互に影響を受けているという事実とは対照的である。 本稿では、この独立パラドックスを解くことにより、勾配駆動空間(OptG)をさらに最適化することを提案する。
  論文  参考訳（メタデータ） (2022-01-30T14:15:49Z)
• KSM: Fast Multiple Task Adaption via Kernel-wise Soft Mask Learning [49.77278179376902]
  Deep Neural Networks (DNN)は、新しいタスクを学ぶときの以前のタスクに関する知識を忘れることができ、これはtextitcatastrophic forgettingとして知られている。 最近の連続学習手法は、玩具サイズのデータセットにおける破滅的な問題を緩和することができる。 我々は,各タスクに対して,カーネルワイドなハイブリッドな2値マスクと実値のソフトマスクを学習する,textit- Kernel-wise Soft Mask (KSM) と呼ばれる新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-09-11T21:48:39Z)
• Ternary Feature Masks: zero-forgetting for task-incremental learning [68.34518408920661]
  本稿では,タスク認識体制の継続的な学習を忘れずにアプローチを提案する。 第三のマスクを使用することで、モデルを新しいタスクにアップグレードしたり、以前のタスクからの知識を再利用したりできます。 本手法は,重みに基づく手法と比較して,メモリオーバーヘッドを低減しつつ,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-01-23T18:08:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。