論文の概要: Frustratingly Easy Task-aware Pruning for Large Language Models
- arxiv url: http://arxiv.org/abs/2510.22489v1
- Date: Sun, 26 Oct 2025 02:09:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 19:54:32.523325
- Title: Frustratingly Easy Task-aware Pruning for Large Language Models
- Title（参考訳）: 大規模言語モデルに対する難易度の高いタスク認識プルーニング
- Authors: Yuanhe Tian, Junjie Liu, Xican Yang, Haishan Ye, Yan Song,
- Abstract要約: 大規模言語モデル(LLM)に対する単純かつ効果的なプルーニング手法を提案する。
本フレームワークは,汎用校正データとタスク固有の校正データの両方を用いて,重要度を算出している。
広く使われているベンチマークの実験は、我々のアプローチが効果的であり、一貫してベースラインを上回っていることを示している。
- 参考スコア（独自算出の注目度）: 33.84349099489764
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pruning provides a practical solution to reduce the resources required to run large language models (LLMs) to benefit from their effective capabilities as well as control their cost for training and inference. Research on LLM pruning often ranks the importance of LLM parameters using their magnitudes and calibration-data activations and removes (or masks) the less important ones, accordingly reducing LLMs' size. However, these approaches primarily focus on preserving the LLM's ability to generate fluent sentences, while neglecting performance on specific domains and tasks. In this paper, we propose a simple yet effective pruning approach for LLMs that preserves task-specific capabilities while shrinking their parameter space. We first analyze how conventional pruning minimizes loss perturbation under general-domain calibration and extend this formulation by incorporating task-specific feature distributions into the importance computation of existing pruning algorithms. Thus, our framework computes separate importance scores using both general and task-specific calibration data, partitions parameters into shared and exclusive groups based on activation-norm differences, and then fuses their scores to guide the pruning process. This design enables our method to integrate seamlessly with various foundation pruning techniques and preserve the LLM's specialized abilities under compression. Experiments on widely used benchmarks demonstrate that our approach is effective and consistently outperforms the baselines with identical pruning ratios and different settings.
- Abstract（参考訳）: プルーニングは、大きな言語モデル(LLM)を実行するのに必要なリソースを減らすための実用的なソリューションを提供する。
LLMプルーニングの研究は、その大きさとキャリブレーションデータアクティベーションを用いてLLMパラメータの重要性をランク付けし、LLMのサイズを減らすために重要でないパラメータを除去(またはマスク)する。
しかしながら、これらのアプローチは主に、特定のドメインやタスクのパフォーマンスを無視しながら、LLMが流動的な文を生成する能力を維持することに重点を置いている。
本稿では, LLM に対して, パラメータ空間を小さくしながら, タスク固有性を保ちつつ, 単純かつ効果的なプルーニング手法を提案する。
まず,従来のプルーニングは,一般領域のキャリブレーション下での損失摂動を最小限に抑え,タスク固有の特徴分布を既存のプルーニングアルゴリズムの重要計算に組み込むことで,この定式化を拡張した。
そこで,本フレームワークは,一般的な校正データとタスク固有の校正データを用いて,アクティベーションノルム差に基づいてパラメータを共有グループと排他グループに分割し,それらのスコアを融合してプルーニングプロセスを導出する。
本設計により, 各種基礎刈り技術とシームレスに統合し, 圧縮下でのLLMの特殊能力の維持が可能となる。
広範に使用されているベンチマーク実験により,我々のアプローチは有効であり,同一のプルーニング比と異なる設定でベースラインを一貫して上回っていることが示された。
関連論文リスト
- SlimLLM: Accurate Structured Pruning for Large Language Models [36.84275777364218]
構造化プルーニングは,大規模言語モデルのパラメータを圧縮する有効な解法である。
大規模言語モデルに対するSlimLLMという,効率的かつ高速な構造化プルーニング手法を提案する。
論文 参考訳（メタデータ） (2025-05-28T03:01:28Z) - How Many Parameters Does Your Task Really Need? Task Specific Pruning with LLM-Sieve [2.33361323991006]
大きな言語モデル(LLM)は、リソース制約された設定において、狭いタスクのためにますますデプロイされる。
LLM-Sieveは,タスク性能の維持に必要な最小パラメータサブセットにLCMを適用可能なフレームワークである。
論文 参考訳（メタデータ） (2025-05-23T20:17:20Z) - LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。
LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。
LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文 参考訳（メタデータ） (2025-02-15T02:55:22Z) - Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [65.23593936798662]
LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。
微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
論文 参考訳（メタデータ） (2025-01-24T08:18:56Z) - Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。
LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。
モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
論文 参考訳（メタデータ） (2024-12-19T18:08:04Z) - Enhancing LLMs with Smart Preprocessing for EHR Analysis [3.5839042822277585]
大規模言語モデル (LLM) は自然言語処理において顕著な熟練性を示している。
本稿では,厳密なプライバシ要件を持つ環境におけるローカルデプロイメントに最適化されたコンパクトなLLMフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-03T22:06:55Z) - Learn from Downstream and Be Yourself in Multimodal Large Language Model Fine-Tuning [104.27224674122313]
微調整MLLMは、特定の下流タスクのパフォーマンスを改善するための一般的なプラクティスとなっている。
一般化と特殊化のトレードオフのバランスをとるために,事前学習と微調整の両方におけるパラメータの重要度を測定することを提案する。
論文 参考訳（メタデータ） (2024-11-17T01:16:37Z) - Bridging LLMs and KGs without Fine-Tuning: Intermediate Probing Meets Subgraph-Aware Entity Descriptions [49.36683223327633]
大規模言語モデル(LLM)は、幅広い世界の知識をカプセル化し、強力なコンテキストモデリング能力を示す。
実効的で効率的なKGCを実現するために,LLMの強みを頑健な知識表現と相乗化するための新しいフレームワークを提案する。
従来手法に比べて47%の相対的な改善を達成し,我々の知る限り,ファインチューニング LLM に匹敵する分類性能を初めて達成した。
論文 参考訳（メタデータ） (2024-08-13T10:15:55Z) - Beyond KV Caching: Shared Attention for Efficient LLMs [5.801044612920816]
本稿では,大規模言語モデル(LLM)の効率を高めるための新しい共有注意機構を提案する。
提案手法は,先進LLMにおいて観測される注意分布の等方性傾向を利用して,予測に必要な計算フロップとKVキャッシュのサイズを減少させる。
以上の結果から,SAは計算資源の保存だけでなく,頑健なモデル性能も維持し,資源制約環境におけるより効率的なLCMの展開を容易にすることが示唆された。
論文 参考訳（メタデータ） (2024-07-13T07:23:07Z) - One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。
本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-30T03:44:54Z) - Pruning as a Domain-specific LLM Extractor [44.81262364608468]
大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な習熟度を示した。
LLMのサイズを減らすため, モデル刈り込み技術の研究はほとんど行われていない。
この研究は、LLM上のドメイン固有圧縮のための革新的な非構造的デュアルプルーニング手法であるD-Prunerを導入する。
論文 参考訳（メタデータ） (2024-05-10T07:05:02Z) - One-Shot Sensitivity-Aware Mixed Sparsity Pruning for Large Language Models [42.95555008229016]
そこで本研究では, ヘッセン感度を意識した混合疎水性プルーニング法を, 再トレーニングを必要とせず, 最低50%の疎水性まで適用する方法を提案する。
提案手法の利点は, 空間が極めて高い場合にさらに顕著である。
論文 参考訳（メタデータ） (2023-10-14T05:43:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。