論文の概要: LaMoC: Loss-Aware Modular Compression for LLMs
- arxiv url: http://arxiv.org/abs/2608.30226v1
- Date: Mon, 31 Aug 2026 04:20:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.219352
- Title: LaMoC: Loss-Aware Modular Compression for LLMs
- Title（参考訳）: LaMoC:LLMの損失対応モジュール圧縮
- Abstract要約: LaMoCは、グラデーション・エラーアライメントを通じてアクティベーションと経験的フィッシャー統計をブレンドする、損失対応のモジュラ圧縮手法である。
LaMoCは、最先端のモジュラ圧縮法よりも平均2.5%のパープレキシティの低減とタスク精度の1%の相対的な改善を実現している。
- 参考スコア（独自算出の注目度）: 0.5929956715430167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modular compression has enabled considerable parameter reduction in LLMs while preserving strong language understanding and downstream task accuracy. However, existing joint modular compression methods primarily rely on activation statistics, leaving loss-sensitivity information and its module-level characterization underexplored. We investigate addressing this gap with LaMoC, a loss-aware modular compression methodology that blends activation and Empirical Fisher statistics through gradient-error alignment. LaMoC improves joint compression by selecting compression statistics that better align local module reconstruction error with the downstream loss. Our contributions are three-fold: (1) We characterize the Empirical Fisher as a module-level loss-aware proxy that can be blended with the activation statistics required for compression. (2) We reformulate joint modular compression as a two-tiered optimization problem that minimizes module reconstruction error while tuning the activation and gradient information blending rate. (3) We implement an empirically driven methodology with statistical validation to solve the resulting compression problem. We evaluate LaMoC across four model families spanning eight models. On the 4-8B models, LaMoC achieves an average 2.5% reduction in perplexity and a 1% relative improvement in task accuracy over state-of-the-art modular compression methods.
- Abstract（参考訳）: モジュール圧縮は、強力な言語理解と下流タスクの精度を維持しながら、LLMのパラメータのかなりの削減を可能にした。
しかし、既存の共同モジュール圧縮法は、主にアクティベーション統計に頼り、損失感度情報とそのモジュールレベルの特性を未調査のまま残している。
我々は,このギャップを,勾配誤差アライメントによるアクティベーションと経験的フィッシャー統計をブレンドしたモジュラー圧縮手法であるLaMoCを用いて解決する。
LaMoCは、局所的なモジュール再構成エラーと下流損失との整合性を向上する圧縮統計を選択することで、共同圧縮を改善する。
1) 圧縮に必要なアクティベーション統計と組み合わせることができるモジュールレベルの損失認識プロキシとして、経験的フィッシャーを特徴付ける。
2) モジュール再構成誤差を最小限に抑えつつ, アクティベーションと勾配情報ブレンディング率を調整した2階層最適化問題として, 共同モジュール圧縮を再構成する。
(3) 結果の圧縮問題を解決するために,統計的検証を用いた経験的手法を実装した。
8つのモデルにまたがる4つのモデルファミリーにおけるLaMoCの評価を行った。
4-8Bモデルでは、LaMoCは平均2.5%のパープレキシティ低下、1%の相対的なタスク精度向上を実現している。
関連論文リスト
- LACE-SVD: Loss-Aware SVD with Cumulative Error Correction for LLM Compression [4.953709812007795]
LLM圧縮に累積誤差補正を施したLos-Aware SVDフレームワークであるLACE-SVDを提案する。
LACE-SVDはまず、候補層ワイド圧縮比によって誘導されるキャリブレーション負-log-like-hood増加を推定する。
その後、圧縮されたモデルをクローズドフォームのローカル更新で洗練し、残ストリーム出力モジュールに対する伝搬認識補正を導入する。
論文 参考訳（メタデータ） (2026-07-03T07:46:13Z) - CALR: Corrective Adaptive Low-Rank Decomposition for Efficient Large Language Model Layer Compression [0.0]
大規模言語モデル(LLM)は、その膨大なサイズと計算要求のために、重大なデプロイメント上の課題を提示する。
本稿では,2成分圧縮手法である補正適応低ランク分解(CALR)を導入する。
CALR はパラメータ数を 26.93% から 51.77% に削減でき、元のモデルの性能の59.45% から 90.42% に維持できることを示した。
論文 参考訳（メタデータ） (2025-08-21T13:16:02Z) - QuantVSR: Low-Bit Post-Training Quantization for Real-World Video Super-Resolution [53.13952833016505]
実世界のビデオ超解像(VSR)のための低ビット量子化モデルを提案する。
キャリブレーションデータセットを用いて各レイヤの空間的および時間的複雑さを計測する。
我々はFPおよび低ビット分岐を改良し、同時最適化を実現する。
論文 参考訳（メタデータ） (2025-08-06T14:35:59Z) - Compression Laws for Large Language Models [20.62274005080048]
言語モデル(LLM)の圧縮法則を導入する。
我々は、1000ドル以上の実験により、構造化モデル圧縮がLLMに与える影響を実証的に検討した。
以上の結果から, クロスエントロピー損失は圧縮比に比例して2次的に増加することが示唆された。
論文 参考訳（メタデータ） (2025-04-06T03:39:34Z) - Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。
この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
論文 参考訳（メタデータ） (2024-11-26T15:35:44Z) - Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。
本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
論文 参考訳（メタデータ） (2024-09-26T13:38:33Z) - MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。
MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。
本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
論文 参考訳（メタデータ） (2024-08-19T01:30:14Z) - Pruning via Merging: Compressing LLMs via Manifold Alignment Based Layer Merging [14.123313596780726]
我々は,MKA(Manifold-based Knowledge Alignment and Layer Merging Compression)を提案する。
MKAは、多様体学習と正規化ペアワイズ・インフォメーション・ボトルネック測定を使用して、類似したレイヤをマージし、本質的な性能を維持しながらモデルサイズを削減している。
以上の結果から,MKAはモデル性能を保ちつつ,圧縮率も大幅に向上し,従来のプルーニング法よりも優れていた。
論文 参考訳（メタデータ） (2024-06-24T05:57:55Z) - Compression of Generative Pre-trained Language Models via Quantization [62.80110048377957]
従来の量子化手法は, テクスモジニアス単語の埋め込みによって生成タスクに失敗することがわかった。
本稿では,区別可能な単語埋め込みを学習するためのトークンレベルのコントラスト蒸留法と,異なるモジュールに対して量子化器を適応させるモジュールワイドダイナミックスケーリングを提案する。
論文 参考訳（メタデータ） (2022-03-21T02:11:35Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳（メタデータ） (2021-05-24T12:07:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。