論文の概要: Mix-and-Match Pruning: Globally Guided Layer-Wise Sparsification of DNNs
- arxiv url: http://arxiv.org/abs/2603.20280v1
- Date: Tue, 17 Mar 2026 23:27:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:38.796308
- Title: Mix-and-Match Pruning: Globally Guided Layer-Wise Sparsification of DNNs
- Title（参考訳）: Mix-and-Match Pruning:DNNのグローバルガイドによるレイヤワイズスポーリング
- Authors: Danial Monachan, Samira Nazari, Mahdi Taheri, Ali Azarpeyvand, Milos Krstic, Michael Huebner, Christian Herglotz,
- Abstract要約: エッジデバイス上のディープニューラルネットワーク(DNN)は、精度の低下を最小限に抑えた強い圧縮を必要とする。
本稿では,Mix-and-Match Pruningについて紹介する。
- 参考スコア（独自算出の注目度）: 2.0919087464519275
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deploying deep neural networks (DNNs) on edge devices requires strong compression with minimal accuracy loss. This paper introduces Mix-and-Match Pruning, a globally guided, layer-wise sparsification framework that leverages sensitivity scores and simple architectural rules to generate diverse, high-quality pruning configurations. The framework addresses a key limitation that different layers and architectures respond differently to pruning, making single-strategy approaches suboptimal. Mix-and-Match derives architecture-aware sparsity ranges, e.g., preserving normalization layers while pruning classifiers more aggressively, and systematically samples these ranges to produce ten strategies per sensitivity signal (magnitude, gradient, or their combination). This eliminates repeated pruning runs while offering deployment-ready accuracy-sparsity trade-offs. Experiments on CNNs and Vision Transformers demonstrate Pareto-optimal results, with Mix-and-Match reducing accuracy degradation on Swin-Tiny by 40% relative to standard single-criterion pruning. These findings show that coordinating existing pruning signals enables more reliable and efficient compressed models than introducing new criteria.
- Abstract（参考訳）: エッジデバイスにディープニューラルネットワーク(DNN)をデプロイするには、精度の低下を最小限に抑えた強い圧縮が必要である。
本稿では、感度スコアとシンプルなアーキテクチャルールを利用して、多種多様な高品質なプルーニング構成を生成する、世界的ガイド付き階層分割フレームワークであるMix-and-Match Pruningを紹介する。
このフレームワークは、異なるレイヤやアーキテクチャがプルーニングに対して異なる反応をする、重要な制限に対処する。
Mix-and-Matchはアーキテクチャが認識する空間範囲、例えば正規化層を保存し、分類器をより積極的にプルーニングし、これらの範囲を体系的にサンプリングし、感度信号(マグニチュード、勾配、またはそれらの組み合わせ)ごとに10の戦略を生成する。
これにより、デプロイ可能な正確さと疎結合のトレードオフを提供しながら、繰り返しプルーニングの実行が不要になる。
CNNとVision Transformersの実験はパレート最適結果を示し、Mix-and-Matchは標準の単一基準プルーニングと比較してSwin-Tinyの精度を40%削減する。
これらの結果から,既存のプルーニング信号のコーディネートにより,新しい基準を導入するよりも信頼性と効率のよい圧縮モデルの実現が可能であることが示唆された。
関連論文リスト
- Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。
本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。
9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
論文 参考訳（メタデータ） (2026-02-09T22:48:30Z) - Unleashing Degradation-Carrying Features in Symmetric U-Net: Simpler and Stronger Baselines for All-in-One Image Restoration [52.82397287366076]
オールインワン画像復元は、統合された枠組み内で様々な劣化(ノイズ、ぼかし、悪天候など)を扱うことを目的としている。
本研究では, 優れた特徴抽出法により, 劣化伝達情報を本質的にエンコードする, 重要な知見を明らかにする。
我々の対称設計は固有の劣化信号を頑健に保存し、スキップ接続に単純な加法融合を施す。
論文 参考訳（メタデータ） (2025-12-11T12:20:31Z) - NIRVANA: Structured pruning reimagined for large language models compression [50.651730342011014]
直近のゼロショット保存精度と頑健な微調整のバランスをとるために, NIRVANAを導入した。
構造化プルーニングによって引き起こされる固有の課題にさらに対処するため、NIRVANAは層やモジュール間の適応的な空間割当機構を取り入れている。
Llama3, Qwen, T5モデルで行った実験では、NIRVANAは等価な空間制約の下で既存の構造化プルーニング法よりも優れていた。
論文 参考訳（メタデータ） (2025-09-17T17:59:00Z) - HyperTTA: Test-Time Adaptation for Hyperspectral Image Classification under Distribution Shifts [28.21559601586271]
HyperTTA (Test-Time Adaptable Transformer for Hyperspectral Degradation) は、様々な劣化条件下でモデルロバスト性を高める統一フレームワークである。
テスト時の適応戦略である、信頼を意識したエントロピー最小化LayerNorm Adapter (CELA)は、LayerNorm層のアフィンパラメータのみを動的に更新する。
2つのベンチマークデータセットの実験では、HyperTTAがさまざまな劣化シナリオで最先端のベースラインを上回っていることが示されている。
論文 参考訳（メタデータ） (2025-09-10T09:31:37Z) - A Few Large Shifts: Layer-Inconsistency Based Minimal Overhead Adversarial Example Detection [13.109309606764754]
我々は、ターゲットモデル自体の内部の階層的不整合を利用するプラグイン検出フレームワークを導入する。
本手法は計算オーバーヘッドを無視して最先端検出性能を実現する。
論文 参考訳（メタデータ） (2025-05-19T00:48:53Z) - CoNNect: Connectivity-Based Regularization for Structural Pruning [0.0]
CoNNectは、スパースNNトレーニングのための新しい差別化可能なレギュレータである。
CoNNectは、レイヤ崩壊などの問題を回避しながら、最大接続されたネットワーク構造を保証する。
論文 参考訳（メタデータ） (2025-02-02T10:32:55Z) - PRUNIX: Non-Ideality Aware Convolutional Neural Network Pruning for
Memristive Accelerators [0.36832029288386126]
PRUNIXは畳み込みニューラルネットワークのトレーニングと解析のためのフレームワークである。
メムリスタクロスバーベースの加速器への展開が提案されている。
論文 参考訳（メタデータ） (2022-02-03T18:32:03Z) - Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time
Mobile Acceleration [71.80326738527734]
本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。
提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-22T23:53:14Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - A Tunable Robust Pruning Framework Through Dynamic Network Rewiring of
DNNs [8.597091257152567]
敵攻撃に対して頑健なプルーンドディープニューラルネットワーク(DNN)モデルを生成する動的ネットワークリウィリング(DNR)手法を提案する。
我々の実験により,DNRは,最先端の代替手段によって達成できるものよりも,クリーンで対角的な画像分類性能の圧縮モデルを一貫して見出すことができた。
論文 参考訳（メタデータ） (2020-11-03T19:49:00Z) - Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。
LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
論文 参考訳（メタデータ） (2020-10-15T09:14:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。