論文の概要: CompressNAS : A Fast and Efficient Technique for Model Compression using Decomposition

• arxiv url: http://arxiv.org/abs/2511.11716v1
• Date: Wed, 12 Nov 2025 18:25:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:23.093111
• Title: CompressNAS : A Fast and Efficient Technique for Model Compression using Decomposition
• Title（参考訳）: CompressNAS : 分解を用いたモデル圧縮の高速かつ効率的な手法
• Authors: Sudhakar Sah, Nikhil Chabbra, Matthieu Durnerin,
• Abstract要約: ランク選択をグローバル検索問題として扱うフレームワークであるCompressNASを紹介する。 ImageNetでは、CompressNASはResNet-18を4%未満の精度低下で8倍圧縮し、COCOでは精度低下のないYOLOv5sの2倍圧縮を実現している。 圧縮モデルであるSTResNetを、他の効率的なモデルと比較して、競合性能の高い新しいファミリーとして提示する。
• 参考スコア（独自算出の注目度）: 1.9556774372563988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Convolutional Neural Networks (CNNs) are increasingly difficult to deploy on microcontrollers (MCUs) and lightweight NPUs (Neural Processing Units) due to their growing size and compute demands. Low-rank tensor decomposition, such as Tucker factorization, is a promising way to reduce parameters and operations with reasonable accuracy loss. However, existing approaches select ranks locally and often ignore global trade-offs between compression and accuracy. We introduce CompressNAS, a MicroNAS-inspired framework that treats rank selection as a global search problem. CompressNAS employs a fast accuracy estimator to evaluate candidate decompositions, enabling efficient yet exhaustive rank exploration under memory and accuracy constraints. In ImageNet, CompressNAS compresses ResNet-18 by 8x with less than 4% accuracy drop; on COCO, we achieve 2x compression of YOLOv5s without any accuracy drop and 2x compression of YOLOv5n with a 2.5% drop. Finally, we present a new family of compressed models, STResNet, with competitive performance compared to other efficient models.
• Abstract（参考訳）: マイクロコントローラ(MCU)と軽量NPU(Neural Processing Units)へのデプロイは、サイズと計算要求の増大により、CNN(Deep Convolutional Neural Networks)がますます困難になっている。 タッカー分解のような低ランクテンソル分解は、パラメータと演算を適切な精度の損失で削減する有望な方法である。 しかし、既存のアプローチでは、局所的なランクを選択し、圧縮と精度の間のグローバルなトレードオフを無視することが多い。 我々は、ランク選択をグローバル検索問題として扱うマイクロNASにインスパイアされたフレームワークであるCompressNASを紹介する。 CompressNASは、高速な精度推定器を用いて、予測された分解を評価する。 ImageNetでは、CompressNASはResNet-18を4%以下の精度で8倍圧縮し、COCOでは2倍の精度でYOLOv5sを2倍の精度で圧縮し、2倍の精度でYOLOv5nを2.5%の精度で圧縮する。 最後に、圧縮モデルであるSTResNetの新たなファミリーを、他の効率的なモデルと比較して競合する性能で提示する。

関連論文リスト

• Reducing Storage of Pretrained Neural Networks by Rate-Constrained Quantization and Entropy Coding [56.066799081747845]
  成長を続けるニューラルネットワークのサイズは、リソースに制約のあるデバイスに深刻な課題をもたらす。 本稿では,レートアウェア量子化とエントロピー符号化を組み合わせた学習後圧縮フレームワークを提案する。 この方法では非常に高速な復号化が可能であり、任意の量子化グリッドと互換性がある。
  論文  参考訳（メタデータ） (2025-05-24T15:52:49Z)
• Learning Accurate Performance Predictors for Ultrafast Automated Model Compression [86.22294249097203]
  フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。 本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
  論文  参考訳（メタデータ） (2023-04-13T10:52:49Z)
• CrAM: A Compression-Aware Minimizer [103.29159003723815]
  本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。 CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。 CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
  論文  参考訳（メタデータ） (2022-07-28T16:13:28Z)
• Optimal Rate Adaption in Federated Learning with Compressed Communications [28.16239232265479]
  フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。 ネットワーク環境における 圧縮とモデルの精度のトレードオフは 未だ不明です 各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-13T14:26:15Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• DKM: Differentiable K-Means Clustering Layer for Neural Network Compression [20.73169804006698]
  そこで我々は, 列車時重みクラスタリングに基づくモデル圧縮のための, 微分可能なk平均クラスタリング層(DKM)を提案する。 DKMは、k平均クラスタリングを注目問題とし、パラメータの合同最適化とセントロイドのクラスタリングを可能にする。 DKM は ImageNet1k と GLUE のベンチマークにおいて,優れた圧縮と精度のトレードオフをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-28T14:35:41Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Neural Network Compression Via Sparse Optimization [23.184290795230897]
  スパース最適化の最近の進歩に基づくモデル圧縮フレームワークを提案する。 我々は、CIFAR10のVGG16とImageNetのResNet50で、同じレベルの精度で、最大7.2倍と2.9倍のFLOPを削減できる。
  論文  参考訳（メタデータ） (2020-11-10T03:03:55Z)
• Search What You Want: Barrier Panelty NAS for Mixed Precision Quantization [51.26579110596767]
  混合精度量子化のための新しいバリアペナルティベースNAS(BP-NAS)を提案する。 BP-NASは、分類(Cifar-10, ImageNet)と検出(COCO)の両方に基づいて芸術の新たな状態を設定する
  論文  参考訳（メタデータ） (2020-07-20T12:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。