論文の概要: LLMCodec: Adapting Video Codecs for Efficient Weight Compression of Large Language Models

• arxiv url: http://arxiv.org/abs/2606.05861v1
• Date: Thu, 04 Jun 2026 08:35:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.652095
• Title: LLMCodec: Adapting Video Codecs for Efficient Weight Compression of Large Language Models
• Title（参考訳）: LLMCodec:大規模言語モデルの効率的な重み圧縮のためのビデオコーデックの適応
• Authors: Rui Wang, Yan Zhao, Li Song, Zhengxue Cheng,
• Abstract要約: ビデオコーデックは、大きな言語モデル(LLM)圧縮のための有望なソリューションを提供する。 本稿では,近年のVVC/H.266ビデオとアフィン量子化を統合したビデオベースLLM圧縮手法を提案する。
• 参考スコア（独自算出の注目度）: 19.22054984682121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid development of large language models(LLMs) has led to remarkable advances in natural language processing. However, the increasing scale of these models introduces substantial challenges in terms of storage, transmission, and deployment. Though great efforts have been devoted to model compression and quantization, existing methods often rely on fine-tuning or calibration data, which exhibit limited generalization across different tensor types. In this paper, we argue that video codecs offer a promising solution for LLM compression, due to their inherent compatibility with matrix structured data, configurable compression strategies, and the availability of highly optimized, off-the-shelf implementations. Therefore, we present LLMCodec, a video codec-based LLM compression method that integrates affine quantization with the recent VVC/H.266 video codec. Beyond VVC, we further compare a range of video codecs and encoding profiles to evaluate their impact on compression performance. Experiments on different models demonstrate the robustness and generality of LLMCodec. Notably, on LLaMA-3-8B at 2-bit precision, LLMCodec reduces perplexity by over 1.5x and improves downstream task accuracy by 21% compared with the existing method.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な発展は、自然言語処理において顕著な進歩をもたらした。 しかし、これらのモデルの規模が大きくなると、ストレージ、トランスミッション、デプロイメントの面で大きな課題がもたらされる。 モデル圧縮と量子化に多大な努力を払ってきたが、既存の手法は微調整やキャリブレーションのデータを頼りにしており、様々なテンソルタイプにまたがる限定的な一般化を示している。 本稿では,ビデオコーデックが,行列構造データとの固有の互換性,構成可能な圧縮戦略,高度に最適化されたオフザシェルフ実装の実現などにより,LCM圧縮に有望なソリューションを提供する,と論じる。 そこで,ビデオコーデックをベースとしたLLM圧縮方式であるLLMCodecについて,近年のVVC/H.266ビデオコーデックとアフィン量子化を統合した。 VVC以外にも、ビデオコーデックや符号化プロファイルを比較して、圧縮性能への影響を評価する。 異なるモデルによる実験は、LLMCodecの堅牢性と一般性を示している。 2ビット精度でのLLaMA-3-8Bでは、LLMCodecはパープレキシティを1.5倍以上削減し、既存の手法と比較して下流タスクの精度を21%向上させる。

関連論文リスト

• CodecSight: Leveraging Video Codec Signals for Efficient Streaming VLM Inference [4.835489391255295]
  我々は、圧縮の副産物として、ビデオコーデックが各ストリームの時間的・空間的構造を抽出しているというキー観測に基づいて構築されたストリーミングビデオ分析システム、CodecSightを提案する。 CodecSightはこのメタデータを低コストの信号として扱い、ビデオデコード、ビジュアルプロセッシング、LLMプリフィルのランタイム最適化を統一する。 実験によると、CodecSightはスループットを最大3$times$で改善し、GPU計算を最先端のベースラインよりも最大87%削減し、競争精度を維持している。
  論文  参考訳（メタデータ） (2026-04-07T16:31:45Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)
• Plug-and-Play Versatile Compressed Video Enhancement [57.62582951699999]
  ビデオ圧縮はファイルのサイズを効果的に削減し、リアルタイムのクラウドコンピューティングを可能にする。 しかし、それは視覚的品質の犠牲となり、下流の視覚モデルの堅牢性に挑戦する。 本稿では,異なる圧縮条件下で動画を適応的に拡張する多言語対応拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-21T18:39:31Z)
• When Video Coding Meets Multimodal Large Language Models: A Unified Paradigm for Video Coding [118.72266141321647]
  CMVC(Cross-Modality Video Coding)は、ビデオ符号化における多モード表現とビデオ生成モデルを探索する先駆的な手法である。 復号化の際には、以前に符号化されたコンポーネントとビデオ生成モデルを利用して複数の復号モードを生成する。 TT2Vは効果的な意味再構成を実現し,IT2Vは競争力のある知覚整合性を示した。
  論文  参考訳（メタデータ） (2024-08-15T11:36:18Z)
• ASVD: Activation-aware Singular Value Decomposition for Compressing Large Language Models [49.970828419830355]
  大規模言語モデル(LLM)のための新しい訓練後圧縮パラダイムを提案する。 我々は、アクティベーション対応特異値分解(ASVD)と呼ばれるトレーニング不要の手法を提案する。
  論文  参考訳（メタデータ） (2023-12-10T08:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。