論文の概要: Diet Your LLM: Dimension-wise Global Pruning of LLMs via Merging Task-specific Importance Score

• arxiv url: http://arxiv.org/abs/2603.23985v1
• Date: Wed, 25 Mar 2026 06:28:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.162578
• Title: Diet Your LLM: Dimension-wise Global Pruning of LLMs via Merging Task-specific Importance Score
• Title（参考訳）: LLM のダイエット:タスク固有の重要度スコアの融合による LLM の次元的グローバルプルーニング
• Authors: Jimyung Hong, Jaehyung Kim,
• Abstract要約: DIETは、次元レベルの粒度とタスク認識の選択を組み合わせた、トレーニング不要な構造化プルーニング手法である。 DIETプロファイルは、タスク毎に100のサンプルを使用して、タスク間でのアクティベーションのマグニチュードをプロファイルし、その後、多数決を適用して単一のグローバルマスクを構築する。 Gemma-2 2Bおよび9Bモデルを用いた7つのゼロショットベンチマーク実験により、DIETの有効性が示された。
• 参考スコア（独自算出の注目度）: 6.612630497074871
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable capabilities, but their massive scale poses significant challenges for practical deployment. Structured pruning offers a promising solution by removing entire dimensions or layers, yet existing methods face critical trade-offs: task-agnostic approaches cannot adapt to task-specific requirements, while task-aware methods require costly training to learn task adaptability. We propose DIET (Dimension-wise global pruning of LLMs via merging Task-wise importance scores), a training-free structured pruning method that combines dimension-level granularity with task-aware selection. DIET profiles activation magnitudes across tasks using only 100 samples per task, then applies majority voting to construct a single global mask. DIET does not require large costs from pre-computation or training. Experiments on seven zero-shot benchmarks using Gemma-2 2B and 9B models demonstrate the effectiveness of DIET; for example, at 20% sparsity on Gemma-2 2B, DIET achieves near 10% average accuracy improvement, compared to previous state-of-the-art structured pruning methods. This advantage persists across various sparsity levels and model scales, positioning DIET as a practical and robust choice for structured LLM pruning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は目覚ましい能力を示しているが、その大規模化は実践的な展開に重大な課題をもたらす。 タスク非依存のアプローチはタスク固有の要件に適応できませんが、タスク対応の手法はタスク適応性を学ぶのに高価なトレーニングが必要です。 本研究では,次元レベルの粒度とタスク認識の選択を併用したトレーニング不要な構造化プルーニング手法であるDIETを提案する。 DIETプロファイルは、タスク毎に100のサンプルを使用してタスク間でのアクティベーションのマグニチュードをプロファイルし、その後、多数決を適用して単一のグローバルマスクを構築する。 DIETは、事前計算やトレーニングによる大きなコストを必要としない。 Gemma-2 2Bおよび9Bモデルを用いた7つのゼロショットベンチマークの実験では、DIETの有効性が示されている。 この利点は、様々な空間レベルとモデルスケールにまたがって持続し、DIETを構造化LLMプルーニングの実用的で堅牢な選択として位置づける。

関連論文リスト

• Leave it to the Specialist: Repair Sparse LLMs with Sparse Fine-Tuning via Sparsity Evolution [37.437830302067326]
  Sparsity Evolution Fine-Tuning (SEFT)は、疎大言語モデル(LLM)に特化して設計された新しい手法である。 SEFTは、微調整中に細粒化されたモデルのスパーストポロジーを動的に進化させ、プロセス全体にわたって全体空間を保存する。 各種LLM実験の結果,SEFTは既存のベースラインに比べてメモリ効率と時間効率が優れており,性能が向上することが示された。
  論文  参考訳（メタデータ） (2025-05-29T22:17:43Z)
• How Many Parameters Does Your Task Really Need? Task Specific Pruning with LLM-Sieve [2.33361323991006]
  大きな言語モデル(LLM)は、リソース制約された設定において、狭いタスクのためにますますデプロイされる。 LLM-Sieveは,タスク性能の維持に必要な最小パラメータサブセットにLCMを適用可能なフレームワークである。
  論文  参考訳（メタデータ） (2025-05-23T20:17:20Z)
• SEAP: Training-free Sparse Expert Activation Pruning Unlock the Brainpower of Large Language Models [17.483183039447564]
  本稿では,タスク関連パラメータを選択的に保持し,推論オーバーヘッドを低減する訓練不要プルーニング手法であるSparse Expert Activation Pruning (SEAP)を紹介する。 実験の結果,SEAPは競争精度を維持しながら計算オーバーヘッドを著しく低減することがわかった。
  論文  参考訳（メタデータ） (2025-03-10T17:59:03Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• MAML-en-LLM: Model Agnostic Meta-Training of LLMs for Improved In-Context Learning [43.512739869120125]
  大規模言語モデル(LLM)のメタトレーニング手法であるMAML-en-LLMを提案する。 MAML-en-LLMは、解離したタスクでうまく機能するだけでなく、目に見えないタスクに適応する真の一般化可能なパラメータを学習することができる。 我々は、MAML-en-LLMが、目に見えないドメインと見えないドメインのトレーニングデータが少ない設定において、ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-19T04:49:42Z)
• Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models [90.14693869269519]
  MoE LLMはより少ないパラメータで高いパフォーマンスを実現することができるが、パラメータサイズが大きいためデプロイは困難である。 本稿では主に,プラグ・アンド・プレイ・エキスパートレベルのスペーシフィケーション技術を導入することで,MoE LLMの展開効率を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-02-22T18:56:07Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。