論文の概要: Compression for Better: A General and Stable Lossless Compression Framework

• arxiv url: http://arxiv.org/abs/2412.06868v1
• Date: Mon, 09 Dec 2024 09:55:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:39:03.324047
• Title: Compression for Better: A General and Stable Lossless Compression Framework
• Title（参考訳）: Compression for Better: 汎用的で安定したロスレス圧縮フレームワーク
• Authors: Boyang Zhang, Daning Cheng, Yunquan Zhang, Fangmin Liu, Wenguang Chen,
• Abstract要約: 主な課題は、モデル損失を最小限に抑えるために圧縮エラーを効果的に活用することである。 一般的なtextbfLosstextbfLess textbfCompression理論フレームワーク(textbfLLC)を提案する。 量子化や分解など,様々な圧縮手法を適用する。
• 参考スコア（独自算出の注目度）: 7.356622397575378
• License:
• Abstract: This work focus on how to stabilize and lossless model compression, aiming to reduce model complexity and enhance efficiency without sacrificing performance due to compression errors. A key challenge is effectively leveraging compression errors and defining the boundaries for lossless compression to minimize model loss. i.e., compression for better. Currently, there is no systematic approach to determining this error boundary or understanding its specific impact on model performance. We propose a general \textbf{L}oss\textbf{L}ess \textbf{C}ompression theoretical framework (\textbf{LLC}), which further delineates the compression neighborhood and higher-order analysis boundaries through the total differential, thereby specifying the error range within which a model can be compressed without loss. To verify the effectiveness of LLC, we apply various compression techniques, including quantization and decomposition. Specifically, for quantization, we reformulate the classic quantization search problem as a grouped knapsack problem within the lossless neighborhood, achieving lossless quantization while improving computational efficiency. For decomposition, LLC addresses the approximation problem under low-rank constraints, automatically determining the rank for each layer and producing lossless low-rank models. We conduct extensive experiments on multiple neural network architectures on different datasets. The results show that without fancy tricks, LLC can effectively achieve lossless model compression. Our code will be made publicly.
• Abstract（参考訳）: この研究は、モデル圧縮の安定化と損失のない方法に焦点を当て、圧縮エラーによる性能を犠牲にすることなく、モデルの複雑さを減らし、効率を向上させることを目的としている。 重要な課題は、モデル損失を最小限に抑えるために、圧縮エラーを効果的に活用し、損失のない圧縮の境界を定義することである。 I. E. 圧縮が良くなった 現在、このエラー境界を決定したり、モデルの性能に対する特定の影響を理解するための体系的なアプローチは存在しない。 本稿では, 圧縮近傍と高次解析境界を全差分によりより詳細に記述し, モデルが損失なく圧縮できる誤差範囲を規定する, 一般の \textbf{L}oss\textbf{L}ess \textbf{C}ompression theory framework (\textbf{LLC}) を提案する。 我々は,LLCの有効性を検証するために,量子化や分解など,様々な圧縮手法を適用した。 具体的には、量子化のための古典的量子化探索問題を、損失のない地区におけるグループ化knapsack問題として再構成し、損失のない量子化を実現し、計算効率を向上する。 分解のために、 LLCは低ランク制約の下で近似問題に対処し、各層のランクを自動的に決定し、損失のない低ランクモデルを生成する。 異なるデータセット上で、複数のニューラルネットワークアーキテクチャに関する広範な実験を行います。 その結果,LLCは豪華なトリックがなければ,損失のないモデル圧縮を効果的に達成できることが示唆された。 私たちのコードは公開されます。

関連論文リスト

• Problem-dependent convergence bounds for randomized linear gradient compression [4.656302602746228]
  分散最適化では、通信モデルの更新がパフォーマンスのボトルネックになる可能性がある。 最適化向上の手段として勾配圧縮法が提案されている。 我々は, 圧縮がスループットに与える影響を, ヘッセン目標のノルムの観点から検討する。
  論文  参考訳（メタデータ） (2024-11-19T22:26:42Z)
• EvoPress: Towards Optimal Dynamic Model Compression via Evolutionary Search [33.86918407429272]
  本稿では, 与えられた入力範囲において, 確実に最適である動的圧縮に対する新しい, 汎用的なアプローチを提案する。 これらの理論的保証は、Llama, Mistral, Phiモデルの動的圧縮に高い競争力を与えることを示す。
  論文  参考訳（メタデータ） (2024-10-18T17:46:37Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Lossy and Lossless (L$^2$) Post-training Model Size Compression [12.926354646945397]
  本稿では,無損失圧縮と無損失圧縮を統一的に組み合わせた後学習モデルサイズ圧縮法を提案する。 精度を犠牲にすることなく安定な10times$圧縮比を達成でき、短時間で20times$圧縮比を小さくすることができる。
  論文  参考訳（メタデータ） (2023-08-08T14:10:16Z)
• An Information Theory-inspired Strategy for Automatic Network Pruning [88.51235160841377]
  深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。 既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。 本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-19T07:03:22Z)
• Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition [62.41259783906452]
  本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。 各層を自動的に解析し、最適な層間圧縮比を特定する。 我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2021-07-23T20:01:30Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Learning Scalable $\ell_\infty$-constrained Near-lossless Image Compression via Joint Lossy Image and Residual Compression [118.89112502350177]
  本稿では,$ell_infty$-constrained near-lossless image compressionを学習するための新しいフレームワークを提案する。 元の残差の学習確率モデルを定量化し、量子化残差の確率モデルを導出する。
  論文  参考訳（メタデータ） (2021-03-31T11:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。