論文の概要: Differentiable Bit-Widths: Co-optimizing Pruning and Quantization via SVD for Ultra-Efficient LLM Compression

• arxiv url: http://arxiv.org/abs/2610.06026v1
• Date: Mon, 05 Oct 2026 09:25:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 19:21:24.050258
• Title: Differentiable Bit-Widths: Co-optimizing Pruning and Quantization via SVD for Ultra-Efficient LLM Compression
• Title（参考訳）: 可変ビット幅:超高効率LDM圧縮のためのSVDによる共最適化と量子化
• Abstract要約: SVDベースのプルーニングと量子化は、大規模言語モデルの超効率的な圧縮のための有望な戦略として現れている。 我々は,統一されたフレームワークにおけるプルーニングと量子化を協調的に最適化する新しいLLM圧縮手法を提案する。 本手法は, 極端量子化設定下であっても, 2段階ベースラインに対して良好に動作する。
• 参考スコア（独自算出の注目度）: 7.147459905796264
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: SVD-based pruning and quantization have recently emerged as a promising strategy for the ultra-efficient compression of large language models. In these methods, compression is performed in two stages: components are first truncated, and the remaining ones are subsequently quantized. Although this decoupled pipeline benefits from both pruning and quantization, it requires separate optimization for each stage and fails to fully exploit their balance, which can lead to suboptimal performance under aggressive compression. To address this limitation, we propose a new LLM compression method that co-optimizes pruning and quantization in a unified framework. Our key idea is a differentiable method for learning component-wise bit-widths, allowing less important components to be assigned 0-bit precision and pruned away. Notably, our method performs favorably against two-stage baselines, even when subjected to extreme quantization settings ($1.61$ bits) designed for ultra-efficiency. Code: https://github.com/MMAI-Laboratory/DBW.
• Abstract（参考訳）: SVDベースのプルーニングと量子化は、最近、大規模言語モデルの超効率的な圧縮のための有望な戦略として登場した。 これらの方法では、圧縮は2つの段階で実行される: コンポーネントは最初に切り取られ、残りのコンポーネントはその後量子化される。 この分離されたパイプラインはプルーニングと量子化の両方の利点があるが、各ステージに別々の最適化が必要であり、そのバランスを完全に活用できないため、アグレッシブな圧縮下での最適以下のパフォーマンスにつながる可能性がある。 この制限に対処するために、統一されたフレームワークにおけるプルーニングと量子化を共最適化する新しいLLM圧縮手法を提案する。 我々のキーとなるアイデアは、コンポーネント単位のビット幅を学習するための微分可能な方法であり、重要でないコンポーネントを0ビット精度で割り当て、取り除くことができる。 特に,超効率に設計した極端量子化設定 (1.61$bits) であっても, 2段階ベースラインに対して良好な性能を示す。 コード:https://github.com/MMAI-Laboratory/DBW。

関連論文リスト

• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
  SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。 学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。 複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
  論文  参考訳（メタデータ） (2025-02-20T23:18:39Z)
• Progressive Binarization with Semi-Structured Pruning for LLMs [36.91249209658632]
  半構造化プルーニング(PBS$2$P)によるプログレッシブバイナリ化を提案し,バイナライゼーションと半構造化プルーニングをシームレスに統合する新しいポストトレーニングフレームワークを提案する。 PBS$2$P は,2進法(SOTA) の2進法を複雑度と下流精度の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-02-03T13:30:29Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• PV-Tuning: Beyond Straight-Through Estimation for Extreme LLM Compression [31.30170080420504]
  最先端の量子化手法には、限られたキャリブレーションデータに対する圧縮パラメータの微調整(一部)が含まれる。 既存の微調整戦略を一般化し改善する表現に依存しないフレームワークであるPV-Tuningを提案する。
  論文  参考訳（メタデータ） (2024-05-23T17:57:04Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
  後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である 本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。 実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• Single-path Bit Sharing for Automatic Loss-aware Model Compression [126.98903867768732]
  シングルパスビット共有(SBS)は、計算コストを大幅に削減し、有望な性能を達成する。 SBS圧縮MobileNetV2は、Top-1の精度がわずか0.1%低下した22.6倍ビット演算(BOP)を実現する。
  論文  参考訳（メタデータ） (2021-01-13T08:28:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。