論文の概要: Reducing Storage of Pretrained Neural Networks by Rate-Constrained Quantization and Entropy Coding

• arxiv url: http://arxiv.org/abs/2505.18758v1
• Date: Sat, 24 May 2025 15:52:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.64047
• Title: Reducing Storage of Pretrained Neural Networks by Rate-Constrained Quantization and Entropy Coding
• Title（参考訳）: 速度制約量子化とエントロピー符号化による事前拘束型ニューラルネットワークのストレージ削減
• Authors: Alexander Conzelmann, Robert Bamler,
• Abstract要約: 成長を続けるニューラルネットワークのサイズは、リソースに制約のあるデバイスに深刻な課題をもたらす。 本稿では,レートアウェア量子化とエントロピー符号化を組み合わせた学習後圧縮フレームワークを提案する。 この方法では非常に高速な復号化が可能であり、任意の量子化グリッドと互換性がある。
• 参考スコア（独自算出の注目度）: 56.066799081747845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ever-growing size of neural networks poses serious challenges on resource-constrained devices, such as embedded sensors. Compression algorithms that reduce their size can mitigate these problems, provided that model performance stays close to the original. We propose a novel post-training compression framework that combines rate-aware quantization with entropy coding by (1) extending the well-known layer-wise loss by a quadratic rate estimation, and (2) providing locally exact solutions to this modified objective following the Optimal Brain Surgeon (OBS) method. Our method allows for very fast decoding and is compatible with arbitrary quantization grids. We verify our results empirically by testing on various computer-vision networks, achieving a 20-40\% decrease in bit rate at the same performance as the popular compression algorithm NNCodec. Our code is available at https://github.com/Conzel/cerwu.
• Abstract（参考訳）: ニューラルネットワークのサイズは、組み込みセンサーのようなリソース制約のあるデバイスに深刻な課題をもたらしている。 モデルの性能が元のものに近くなると、圧縮アルゴリズムはこれらの問題を軽減できる。 本稿では,(1)2次レート推定法によりよく知られた層損失を拡大し,(2)最適脳サージオン法(OBS法)に従って,この修正対象に対する局所的正確な解を提供することにより,レート認識量子化とエントロピー符号化を組み合わせた新しい学習後圧縮フレームワークを提案する。 この方法では非常に高速な復号化が可能であり、任意の量子化グリッドと互換性がある。 我々は,様々なコンピュータビジョンネットワーク上で実験を行い,一般的な圧縮アルゴリズムNNCodecと同等の性能で,20～40倍のビットレートの低下を実現した。 私たちのコードはhttps://github.com/Conzel/cerwu.comから入手可能です。

関連論文リスト

• GANCompress: GAN-Enhanced Neural Image Compression with Binary Spherical Quantization [0.0]
  GANCompressは、二元球量子化(BSQ)とGAN(Generative Adversarial Networks)を組み合わせた新しいニューラル圧縮フレームワークである。 GANCompressは圧縮効率を大幅に向上し、ファイルサイズを最大100倍まで削減し、視覚的歪みを最小限に抑える。
  論文  参考訳（メタデータ） (2025-05-19T00:18:27Z)
• A Theoretical Understanding of Neural Network Compression from Sparse Linear Approximation [37.525277809849776]
  モデル圧縮の目標は、同等のパフォーマンスを維持しながら、大きなニューラルネットワークのサイズを減らすことだ。 圧縮性を特徴付けるためにスペーサ感度$ell_q$-normを使用し、ネットワーク内の重みの柔らかいスペーサと圧縮度の関係を提供する。 また,ネットワーク上で各ニューロンを切断する適応アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-11T20:10:35Z)
• Compression-aware Projection with Greedy Dimension Reduction for Convolutional Neural Network Activations [3.6188659868203388]
  分類精度と圧縮比のトレードオフを改善するための圧縮対応投影システムを提案する。 提案手法は,MobileNetV2/ResNet18/VGG16の精度低下により2.91x5.97xのメモリアクセスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2021-10-17T14:02:02Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition [62.41259783906452]
  本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。 各層を自動的に解析し、最適な層間圧縮比を特定する。 我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2021-07-23T20:01:30Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Lightweight Compression of Intermediate Neural Network Features for Collaborative Intelligence [32.03465747357384]
  協調インテリジェンスアプリケーションでは、ディープニューラルネットワーク(DNN)の一部が携帯電話やエッジデバイスなどの軽量デバイスにデプロイされます。 本稿では,分割DNNの中間層によって出力される特徴を量子化し圧縮する,新しい軽量圧縮技術を提案する。
  論文  参考訳（メタデータ） (2021-05-15T00:10:12Z)
• ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks [63.91384986073851]
  オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。 ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
  論文  参考訳（メタデータ） (2020-07-27T09:01:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。