論文の概要: Restoring Pruned Large Language Models via Lost Component Compensation

• arxiv url: http://arxiv.org/abs/2510.21834v1
• Date: Wed, 22 Oct 2025 10:08:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 19:54:32.465958
• Title: Restoring Pruned Large Language Models via Lost Component Compensation
• Title（参考訳）: 損失成分補償による大規模言語モデルの復元
• Authors: Zijian Feng, Hanzhang Zhou, Zixiao Zhu, Tianjiao Li, Jia Jim Deryl Chua, Lee Onn Mak, Gee Wah Ng, Kezhi Mao,
• Abstract要約: プルーニング(Pruning)は、大規模言語モデル(LLM)のサイズと推論コストを減らすために広く使われている技法である。 本稿では,低コスト・高効率を保ちながら性能を回復するプルーニングモデルに対する目標復元戦略を提案する。 この知見に基づいて,アクティベーション編集により重要な注意点を対照的に探索するプラグアンドプレイ方式であるRestoreLCCを導入し,アクティベーションの差異から失われた成分を抽出し,最終的に対応するプルーンドヘッドに注入して補償と回復を行う。
• 参考スコア（独自算出の注目度）: 30.687574116750337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning is a widely used technique to reduce the size and inference cost of large language models (LLMs), but it often causes performance degradation. To mitigate this, existing restoration methods typically employ parameter-efficient fine-tuning (PEFT), such as LoRA, to recover the pruned model's performance. However, most PEFT methods are designed for dense models and overlook the distinct properties of pruned models, often resulting in suboptimal recovery. In this work, we propose a targeted restoration strategy for pruned models that restores performance while preserving their low cost and high efficiency. We observe that pruning-induced information loss is reflected in attention activations, and selectively reintroducing components of this information can significantly recover model performance. Based on this insight, we introduce RestoreLCC (Restoring Pruned LLMs via Lost Component Compensation), a plug-and-play method that contrastively probes critical attention heads via activation editing, extracts lost components from activation differences, and finally injects them back into the corresponding pruned heads for compensation and recovery. RestoreLCC is compatible with structured, semi-structured, and unstructured pruning schemes. Extensive experiments demonstrate that RestoreLCC consistently outperforms state-of-the-art baselines in both general and task-specific performance recovery, without compromising the sparsity or inference efficiency of pruned models.
• Abstract（参考訳）: プルーニングは、大きな言語モデル(LLM)のサイズと推論コストを減らすために広く使われている手法であるが、しばしば性能劣化を引き起こす。 これを軽減するため、既存の復元手法では、LoRAのようなパラメータ効率の良い微調整(PEFT)を使用して、刈り取ったモデルの性能を回復する。 しかし、ほとんどのPEFT法は密度の高いモデルのために設計されており、プルーニングされたモデルの異なる特性を見落とし、しばしば準最適回復をもたらす。 本研究では, 低コストで高効率の維持を図りながら, 性能を回復するプルーニングモデルに対して, 目標とする修復戦略を提案する。 我々は,プルーニングによって引き起こされる情報損失が注意喚起に反映されることを観察し,この情報のコンポーネントを選択的に再導入することで,モデル性能を著しく回復する。 この知見に基づいて,アクティベーション編集により重要な注意点を対照的に探索するプラグイン・アンド・プレイ方式であるRestoreLCC(Restoring Pruned LLMs via Lost Component Compensation)を導入し,アクティベーション差から失われた成分を抽出し,最終的に対応するプルーニングヘッドに注入し,補償と回復を行う。 RestoreLCCは構造化、半構造化、非構造化プルーニング方式と互換性がある。 大規模な実験により、RestoreLCCは、プルーニングされたモデルのスパーシリティや推論効率を損なうことなく、一般およびタスク固有のパフォーマンス回復において、最先端のベースラインを一貫して上回ることを示した。

関連論文リスト

• RestoreVAR: Visual Autoregressive Generation for All-in-One Image Restoration [51.77917733024544]
  潜時拡散モデル(LDM)はオールインワン画像復元法(AiOR)の知覚的品質を改善した。 LDMは反復的なデノゲーションプロセスによって推論が遅くなり、時間に敏感なアプリケーションでは実用的でない。 VAR(Visual Autoregressive Modeling)は、スケールスペースの自己回帰を行い、最先端の拡散変換器に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2025-05-23T15:52:26Z)
• DReSS: Data-driven Regularized Structured Streamlining for Large Language Models [30.47317140878219]
  大規模言語モデル(LLM)は、様々な領域で大きな進歩を遂げているが、その規模が大きくなると高い計算とメモリコストがもたらされる。 本稿では,まず正規化,次にプーン,そして最後に微細構造を適用する新しいパラダイムを提案する。 プルーニングされるコンポーネントを正規化するために少量のデータを活用することで、DReSSは、重要な情報をモデルの残りの部分に前もって明示的に転送する。
  論文  参考訳（メタデータ） (2025-01-29T14:28:11Z)
• Lightweight and Post-Training Structured Pruning for On-Device Large Lanaguage Models [11.93284417365518]
  我々は,ハイブリッド・グラニュラリティ・プルーニング戦略を用いた軽量なポストトレーニング構造化プルーニング手法Compumを紹介する。 Compは、LLM-Prunerと比較して20%のプルーニング比でLLaMA-2-7Bモデルの性能を6.13%向上させる。
  論文  参考訳（メタデータ） (2025-01-25T16:03:58Z)
• UniRestorer: Universal Image Restoration via Adaptively Estimating Image Degradation at Proper Granularity [79.90839080916913]
  We present our UniRestorer with improve restoration performance。 具体的には、劣化空間上で階層的クラスタリングを行い、マルチグラニュラリティ・ミックス・オブ・エキスパート(MoE)復元モデルを訓練する。 UniRestorerは、既存の劣化診断法と -aware 法とは対照的に、劣化推定を利用して劣化特定回復の恩恵を受けることができる。
  論文  参考訳（メタデータ） (2024-12-28T14:09:08Z)
• Reconstruct the Pruned Model without Any Retraining [23.235907813011174]
  本稿では,線形補間に基づく適応再構成(LIAR)フレームワークを提案する。 LIARはバックプロパゲーションや再トレーニングを必要とせず、様々なプルーニング基準やモジュールと互換性がある。 GLUE, SQuAD, WikiText, 常識推論などのベンチマークによる評価の結果, LIARはパラメータの50%を除去しても, 98%の精度でBERTモデルを維持できることがわかった。
  論文  参考訳（メタデータ） (2024-07-18T09:30:44Z)
• Boosting Image Restoration via Priors from Pre-trained Models [54.83907596825985]
  我々は、OSFによるターゲット復元ネットワークの復元結果を改善するために、Pre-Train-Guided Refinement Module (PTG-RM)と呼ばれる軽量モジュールを学習する。 PTG-RMは、低照度強化、デラリニング、デブロアリング、デノナイジングなど、様々なタスクにおける様々なモデルの復元性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-03-11T15:11:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。