論文の概要: Adaptive Sharpness-Aware Pruning for Robust Sparse Networks

• arxiv url: http://arxiv.org/abs/2306.14306v2
• Date: Wed, 13 Mar 2024 17:20:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-14 18:57:12.783968
• Title: Adaptive Sharpness-Aware Pruning for Robust Sparse Networks
• Title（参考訳）: ロバストスパースネットワークに対する適応型シャープネス対応プルーニング
• Authors: Anna Bair, Hongxu Yin, Maying Shen, Pavlo Molchanov, Jose Alvarez
• Abstract要約: 本稿では、ネットワークシャープネスのレンズによるロバストネスとコンパクトネスの目標を統一するAdaptive Sharpness-Aware Pruning (AdaSAP)を紹介する。 AdaSAPは画像分類におけるプルーニングモデルのロバスト精度をImageNet Cで最大+6%、ImageNet V2で+4%、Pascal VOCデータセットで+4%改善する。
• 参考スコア（独自算出の注目度）: 20.326071714224973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robustness and compactness are two essential attributes of deep learning models that are deployed in the real world. The goals of robustness and compactness may seem to be at odds, since robustness requires generalization across domains, while the process of compression exploits specificity in one domain. We introduce Adaptive Sharpness-Aware Pruning (AdaSAP), which unifies these goals through the lens of network sharpness. The AdaSAP method produces sparse networks that are robust to input variations which are unseen at training time. We achieve this by strategically incorporating weight perturbations in order to optimize the loss landscape. This allows the model to be both primed for pruning and regularized for improved robustness. AdaSAP improves the robust accuracy of pruned models on image classification by up to +6% on ImageNet C and +4% on ImageNet V2, and on object detection by +4% on a corrupted Pascal VOC dataset, over a wide range of compression ratios, pruning criteria, and network architectures, outperforming recent pruning art by large margins.
• Abstract（参考訳）: ロバストさとコンパクトさは、現実世界に展開されるディープラーニングモデルの2つの重要な特性である。 強靭性とコンパクト性の目標は、強靭性は領域全体の一般化を必要とし、一方圧縮のプロセスは1つの領域の特異性を利用するため、不一致のように見える。 本稿では,AdaSAP(Adaptive Sharpness-Aware Pruning)を導入し,これらの目標をネットワークシャープネスのレンズで統一する。 AdaSAP法は、トレーニング時に見つからない入力変動に頑健なスパースネットワークを生成する。 我々は、損失景観を最適化するために、重量摂動を戦略的に組み込むことで、これを実現する。 これにより、モデルはプルーニングのためにプライマー化され、ロバスト性を改善するために正規化される。 AdaSAPは、画像分類におけるプルーニングモデルの堅牢な精度を、ImageNet Cで最大+6%、ImageNet V2で+4%、劣化したPascal VOCデータセットで+4%、幅広い圧縮比、プルーニング基準、ネットワークアーキテクチャで改善し、最近のプルーニングアートを大きなマージンで上回る。

関連論文リスト

• Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration [100.54419875604721]
  オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。 我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。 我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-02T17:58:49Z)
• Linearizing Models for Efficient yet Robust Private Inference [8.547509873799994]
  本稿では,RLNetを提案する。RLNetは,高遅延ReLU演算の低減による遅延改善を実現する,堅牢な線形化ネットワークのクラスである。 RLNetは、全ReLUモデルに近い精度で最大11.14倍のReLUで、クリーン、自然摂動、勾配に基づく摂動画像が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-08T10:01:29Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Fast as CHITA: Neural Network Pruning with Combinatorial Optimization [9.440450886684603]
  本稿では,複数重みの重み付けと重み付けの併用効果を両立する最適化型プルーニングフレームワークを提案する。 我々のアプローチであるCHITAは、古典的なBrain Surgeonフレームワークを拡張し、スピード、メモリ、パフォーマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2023-02-28T15:03:18Z)
• Compact CNN Structure Learning by Knowledge Distillation [34.36242082055978]
  知識蒸留とカスタマイズ可能なブロックワイズ最適化を活用し、軽量なCNN構造を学習するフレームワークを提案する。 提案手法は,予測精度の向上を図りながら,アートネットワーク圧縮の状態を再現する。 特に,すでにコンパクトなネットワークであるMobileNet_v2では,モデル圧縮が最大2倍,モデル圧縮が5.2倍向上する。
  論文  参考訳（メタデータ） (2021-04-19T10:34:22Z)
• Towards Unsupervised Deep Image Enhancement with Generative Adversarial Network [92.01145655155374]
  監視されていない画像強調生成ネットワーク(UEGAN)を提案する。 教師なしの方法で所望の特性を持つ画像の集合から、対応する画像と画像のマッピングを学習する。 その結果,提案モデルは画像の美的品質を効果的に向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:22:46Z)
• Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
  既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。 これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。 我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-10T23:28:36Z)
• Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
  深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。 本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
  論文  参考訳（メタデータ） (2020-02-24T00:40:22Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。