論文の概要: DictLLM: Post-training Compression of Large Language Model with Dictionary Kernels

• arxiv url: http://arxiv.org/abs/2611.08082v1
• Date: Thu, 05 Nov 2026 14:31:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.53803
• Title: DictLLM: Post-training Compression of Large Language Model with Dictionary Kernels
• Title（参考訳）: DictLLM:辞書カーネルを用いた大規模言語モデルの学習後圧縮
• Abstract要約: DictLLMは、大規模言語モデルのための辞書ベースの圧縮スキームである。 既存のトレーニング後の低ランク圧縮手法よりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 26.239044699549506
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Efficient deployment of large language models (LLMs) on mobile devices requires balancing performance with compute and memory constraints. Post-training compression is an effective approach to managing this trade-off, while requiring much less computation than in-training counterparts. We propose DictLLM, a dictionary-based compression scheme in which weight matrices within grouped layers are decomposed into a shared dictionary and layer-specific sparse coefficients, directly obtained from a pre-trained model without further training. Specifically, we cast DictLLM as a four-step post-training optimization. First, we obtain shared dictionaries via singular value decomposition (SVD) of input-scaled weight matrices, amortizing rank across grouped layers; second, we sparsify the layer-specific coefficients to the target compression ratio using a dictionary-aware Hessian; and third, we refine the dictionaries given the resulting sparse coefficients. Finally, we aggressively quantize both components using factor-specific Hessian information: input covariance for the dictionaries and the dictionary-aware Hessian for the coefficients. The resulting representation reduces memory footprint by storing a single shared dictionary per layer group, along with sparse layer-specific coefficients. On language modeling and zero-shot reasoning benchmarks, DictLLM consistently outperforms existing post-training low-rank compression methods and pushes the Pareto frontier between model size and performance. DictLLM compresses the original LLaMA-7B model by 5.1x with only a 2.9-point increase in WikiText-2 perplexity, achieving a 3.6x higher compression ratio than the state-of-the-art low-rank method.
• Abstract（参考訳）: モバイルデバイスへの大規模言語モデル(LLM)の効率的なデプロイには、パフォーマンスと計算とメモリの制約のバランスが必要である。 トレーニング後の圧縮は、このトレードオフを管理するための効果的なアプローチであり、トレーニング中の圧縮よりもはるかに少ない計算を必要とする。 グループ化された層内の重み行列を共有辞書と層固有のスパース係数に分解する辞書ベースの圧縮スキームであるDictLLMを提案する。 具体的には、DictLLMをトレーニング後の4段階の最適化として用いた。 まず、入力スケールの重み行列の特異値分解(SVD)、グループ層間のランクの補正、第2に、辞書認識ヘシアンを用いて層特異的係数を目標圧縮比に分散化、第3に、スパース係数を与えられた辞書を洗練させることにより、共有辞書を得る。 最後に,因子固有ヘッセン情報(辞書の入力共分散)と係数の辞書対応ヘッセン情報(辞書対応ヘッセン情報)を用いて,両成分を積極的に定量化する。 結果として生成される表現は、スパース層固有の係数とともに、レイヤグループごとに単一の共有辞書を格納することでメモリフットプリントを減少させる。 言語モデリングとゼロショット推論ベンチマークでは、DictLLMは既存のトレーニング後の低ランク圧縮手法を一貫して上回り、モデルサイズとパフォーマンスの間のParetoフロンティアを押している。 DictLLMはオリジナルのLLaMA-7Bモデルを5.1倍圧縮し、WikiText-2のパープレキシティはわずか2.9ポイント増加し、最先端のローランク法よりも3.6倍高い圧縮比を達成した。

関連論文リスト

• FAD-KV: Adaptive Dictionary KV Caching for Efficient Reasoning Decoding [56.15700232387851]
  キーバリュー(KV)キャッシングは、大規模言語モデルのコアメカニズムである。 我々は,textbfFast textbfAdaptive textbfDictionary KVキャッシングフレームワークであるFAD-KVを提案する。
  論文  参考訳（メタデータ） (2026-10-27T20:05:31Z)
• COMPOT: Calibration-Optimized Matrix Procrustes Orthogonalization for Transformers Compression [5.280540253822294]
  Transformer モデルの学習後圧縮は、通常、切り離された特異値分解(SVD)に依存する 我々は、小さなキャリブレーションデータセットを用いてスパース重み分解を推定する、トレーニング不要な圧縮フレームワークCompotを提案する。 COMPOTは、強い低ランクとスパースベースラインよりも優れた品質圧縮トレードオフを一貫して提供します。
  論文  参考訳（メタデータ） (2026-02-16T21:31:34Z)
• Proxy Compression for Language Modeling [58.904023114033954]
  プロキシ圧縮は、圧縮された入力の効率性を維持する代替のトレーニングスキームである。 コード言語モデリングの実験では、プロキシ圧縮がトレーニング効率を大幅に向上することを示した。 モデルスケールが大きくなるにつれて、プロキシトレーニングされたモデルは最終的に一致するか、あるいは競合するトークン化アルゴリズムのアプローチになる。
  論文  参考訳（メタデータ） (2026-02-04T07:36:46Z)
• SkipCat: Rank-Maximized Low-Rank Compression of Large Language Models via Shared Projection and Block Skipping [6.789200833454491]
  大規模言語モデル(LLM)は、幅広いタスクで顕著なパフォーマンスを実現している。 低ランク圧縮は、計算コストとメモリコストの両方を削減するため、この問題に対処するための有望なアプローチである。 また,SkipCatを提案する。SkipCatは低ランクの圧縮フレームワークで,高いランクの使用が可能で,同じ圧縮率を実現することができる。
  論文  参考訳（メタデータ） (2025-12-15T16:25:55Z)
• Compressing Many-Shots in In-Context Learning [61.231471139896506]
  マルチショットプロンプトを圧縮することにより,ICL推論のメモリと計算効率を向上させる手法を提案する。 まず,既存のプロンプト圧縮手法がマルチショット圧縮には有効でないことを示す。 本稿では,レイヤワイド圧縮手法であるMemComを提案する。
  論文  参考訳（メタデータ） (2025-10-17T16:57:42Z)
• COSPADI: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning [5.595343998068235]
  CoSpaDiは、低ランクの分解をより柔軟な構造化されたスパース分解に置き換える、トレーニング不要の圧縮フレームワークである。 複数のLlamaモデルとQwenモデルにまたがるCoSpaDiを,20～50%の圧縮比で層間および群間設定で評価した。
  論文  参考訳（メタデータ） (2025-09-26T08:55:09Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Efficient CNN with uncorrelated Bag of Features pooling [98.78384185493624]
  Bag of Features (BoF)は、畳み込み層の複雑さを軽減するために最近提案されている。 本稿では,BoFプーリング上に構築した手法を用いて,学習辞書の項目が非冗長であることを保証する。 提案した戦略は、BoFの効率的な変種を生成し、追加のパラメータを使わずにその性能をさらに向上させる。
  論文  参考訳（メタデータ） (2022-09-22T09:00:30Z)
• Dictionary Learning Using Rank-One Atomic Decomposition (ROAD) [6.367823813868024]
  辞書学習は、訓練データを疎に表現できる辞書を求めることを目的としている。 Roadは、合成データと実データの両方で、他のベンチマークアルゴリズムより優れている。
  論文  参考訳（メタデータ） (2021-10-25T10:29:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。