論文の概要: Understanding Calibration and Truncation Error Propagation in Training-Free Low-Rank Compression for LLMs

• arxiv url: http://arxiv.org/abs/2608.08506v1
• Date: Sun, 09 Aug 2026 06:03:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.845171
• Title: Understanding Calibration and Truncation Error Propagation in Training-Free Low-Rank Compression for LLMs
• Title（参考訳）: LLMの無訓練低域圧縮における校正とトランニケーションエラーの伝播の理解
• Abstract要約: 既存のSOTAフレームワークには2つの重要な制限がある。 既存のフレームワークと互換性のあるトレーニング不要な方法論を提案する。 提案手法は,ゼロショットタスクにおける重み付きおよび関節分解ベースラインに対する最大1-2.5精度ポイントの改善を示す。
• 参考スコア（独自算出の注目度）: 0.7532531650457809
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training-free low-rank compression frameworks have been gaining prominence for LLM compression given their effectiveness in reducing model parameter count while maintaining task-level accuracy. However, existing SOTA frameworks share two key limitations: (1) residual errors in calibration data activations accumulate across layers during compression, causing misalignment between representations simulated at compression time and those experienced at inference; (2) the assumption that layer importance distribution is preserved post-compression does not hold. Together, these two effects introduce misalignment in the compression process in relation to the deployed model. We study these effects and propose a simple, training-free methodology compatible with existing frameworks to mitigate them, comprising: (1) Layer-by-Layer Compression with Calibration Correction; (2) Iterative Compression with Rank Allocation Correction. Implemented atop an existing SOTA decomposition framework, and evaluated on Llama and Qwen3 models across various benchmarks and compression rates, our approach demonstrates up to ~1-2.5 accuracy point improvements over per-weight and joint decomposition baselines on zero-shot tasks.
• Abstract（参考訳）: タスクレベルの精度を維持しつつ,モデルパラメータ数を削減できるため,LLM圧縮のトレーニングフリーな低ランク圧縮フレームワークが注目されている。 しかし、既存のSOTAフレームワークでは、(1)圧縮中にキャリブレーションデータアクティベーションの残差が層間に蓄積され、圧縮時にシミュレートされた表現と推論時に経験した表現との不一致が生じる。 これら2つの効果は、展開されたモデルに関連して圧縮過程に不整合をもたらす。 これらの効果について検討し,(1)キャリブレーション補正による層間圧縮,(2)ランクアロケーション補正による反復圧縮など,既存のフレームワークと互換性のある簡易なトレーニング不要な手法を提案する。 既存のSOTA分解フレームワーク上で実装し,様々なベンチマークと圧縮速度でLlamaとQwen3モデルを用いて評価し,ゼロショットタスクにおける重み付きおよび関節分解ベースラインよりも最大1-2.5の精度ポイントの改善を実証した。

関連論文リスト

• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• SAES-SVD: Self-Adaptive Suppression of Accumulated and Local Errors for SVD-based LLM Compression [27.258302662888166]
  SAES-SVDは、大規模言語モデルの低ランク圧縮フレームワークである。 層内再構成と層間誤差補償を共同で最適化する。 実験により,SAES-SVDは圧縮後の性能を常に改善することが示された。
  論文  参考訳（メタデータ） (2026-02-03T03:23:10Z)
• Content Adaptive based Motion Alignment Framework for Learned Video Compression [72.13599533975413]
  本稿では,コンテンツ適応型モーションアライメントフレームワークを提案する。 まず、粗いオフセット予測とマスク変調により動き補償を洗練させる2段階の流動誘導変形防止機構を導入する。 第2に,基準品質に基づいて歪み重みを調整するマルチ参照品質認識戦略を提案する。 第3に,スムーズな動き推定を得るために,フレームを大きさと解像度でダウンサンプルするトレーニングフリーモジュールを統合する。
  論文  参考訳（メタデータ） (2025-12-15T02:51:47Z)
• Activation-Informed Pareto-Guided Low-Rank Compression for Efficient LLM/VLM [11.762499172999886]
  大規模言語モデル (LLM) と視覚言語モデル (VLM) は最先端のパフォーマンスを達成しているが、それらは展開において重要なメモリとコンピューティングの課題を課している。 この課題に対処する新しい低ランク圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-07T03:07:47Z)
• Semantic Retention and Extreme Compression in LLMs: Can We Have Both? [0.0]
  LLM(Large Language Model)デプロイメントでは,効率的なモデル圧縮技術の必要性が高まっている。 我々は, プルーニングと量子化を戦略的に組み合わせることで, 高い性能・圧縮比が得られることを示す。 本稿では,モデル圧縮と意味保存のトレードオフを定量化する新しい指標であるセマンティック保持圧縮率(SrCr)を紹介する。
  論文  参考訳（メタデータ） (2025-05-12T07:23:19Z)
• CALLIC: Content Adaptive Learning for Lossless Image Compression [64.47244912937204]
  CALLICは、学習したロスレス画像圧縮のための新しい最先端(SOTA)を設定する。 本稿では,畳み込みゲーティング操作を利用したコンテンツ認識型自己回帰自己保持機構を提案する。 エンコーディング中、低ランク行列を用いて深度の畳み込みを含む事前学習層を分解し、レート誘導プログレッシブファインタニング(RPFT)による画像検査にインクリメンタルウェイトを適応させる。 推定エントロピーにより下位順にソートされたパッチを徐々に増加させたRPFTファインチューン,学習過程の最適化,適応時間の短縮を実現した。
  論文  参考訳（メタデータ） (2024-12-23T10:41:18Z)
• Communication Compression for Distributed Learning without Control Variates [43.69787537805927]
  本稿では,過去の集約更新を利用して圧縮可能なクライアントを実現する分散アルゴリズムを提案する。 実験結果から,CAFeは既存の分散圧縮学習方式よりも優れていたことが確認された。
  論文  参考訳（メタデータ） (2024-12-05T18:46:20Z)
• EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
  EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。 EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-28T17:59:03Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Token Compensator: Altering Inference Cost of Vision Transformer without Re-Tuning [63.43972993473501]
  視覚変換器(ViT)の訓練と推論を高速化するトークン圧縮 しかし、下流タスクに適用した場合、圧縮度はトレーニングと推論の段階で不一致となる。 本稿では,2段階間の圧縮度を分離するモデル演算フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T10:36:43Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Inshrinkerator: Compressing Deep Learning Training Checkpoints via Dynamic Quantization [5.648270790530862]
  最先端のアプローチには、結果のモデル品質(精度)と圧縮比とのトレードオフを引き起こす、損失のあるモデル圧縮機構が含まれる。 モデル重みの圧縮に対する感度がトレーニング中に変化し、異なる重みが異なる量子化レベルから恩恵を受けることを重要視する。 本稿では,この変動を利用した非一様量子化手法,最適な量子化構成を動的に見つける効率的な探索機構,重みを再構成してチェックポイント差を最小限に抑える量子化対応デルタ圧縮機構を提案する。
  論文  参考訳（メタデータ） (2023-06-20T18:00:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。