論文の概要: IG-Pruning: Input-Guided Block Pruning for Large Language Models

• arxiv url: http://arxiv.org/abs/2511.02213v1
• Date: Tue, 04 Nov 2025 03:05:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:05.790732
• Title: IG-Pruning: Input-Guided Block Pruning for Large Language Models
• Title（参考訳）: IG-Pruning:大規模言語モデルのための入力ガイド型ブロックプルーニング
• Authors: Kangyu Qiao, Shaolei Zhang, Yang Feng,
• Abstract要約: 提案するIG-Pruningは,動的に層マスクを推論時に選択する,入出力対応のブロックワイドプルーニング手法である。 実験結果から,本手法は最先端の静的プルーニング法より一貫して優れていることが示された。
• 参考スコア（独自算出の注目度）: 34.984986323797976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the growing computational demands of large language models (LLMs), efficient inference has become increasingly critical for practical deployment. Depth pruning has emerged as a promising approach for reducing the computational costs of large language models by removing transformer layers. However, existing methods typically rely on fixed block masks, which can lead to suboptimal performance across different tasks and inputs. In this paper, we propose IG-Pruning, a novel input-aware block-wise pruning method that dynamically selects layer masks at inference time. Our approach consists of two stages: (1) Discovering diverse mask candidates through semantic clustering and L0 optimization, and (2) Implementing efficient dynamic pruning without the need for extensive training. Experimental results demonstrate that our method consistently outperforms state-of-the-art static depth pruning methods, making it particularly suitable for resource-constrained deployment scenarios.
• Abstract（参考訳）: 大規模言語モデル(LLM)の計算要求が増大するにつれ、効率的な推論が実用的展開においてますます重要になっている。 デプスプルーニング(depth pruning)は、トランスフォーマー層を取り除き、大規模言語モデルの計算コストを削減するための有望なアプローチとして登場した。 しかし、既存の手法は固定ブロックマスクに依存しており、様々なタスクや入力に対して最適以下のパフォーマンスをもたらす可能性がある。 本稿では,新しい入力対応ブロックワイドプルーニング手法IG-Pruningを提案する。 提案手法は,(1)セマンティッククラスタリングとL0最適化による多様なマスク候補の発見,(2)広範囲のトレーニングを必要とせずに効率的な動的プルーニングを実現すること,の2段階からなる。 実験結果から,本手法は最先端の静的プルーニング手法よりも優れた性能を示し,資源制約による展開シナリオに特に適していることがわかった。

関連論文リスト

• LOP: Learning Optimal Pruning for Efficient On-Demand MLLMs Scaling [52.1366057696919]
  LOPは、ターゲットプルーニング制約から最適なプルーニング戦略を学ぶ、効率的なニューラルプルーニングフレームワークである。 LOPアプローチでは、自動回帰ニューラルネットワーク(NN)を使用して、ターゲットプルーニング制約に適応したレイヤワイズプルーニング戦略を直接予測する。 実験の結果,LOPは最大3桁のスピードアップを達成しつつ,様々な測定値において最先端のプルーニング手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-06-15T12:14:16Z)
• Instruction-Following Pruning for Large Language Models [58.329978053711024]
  我々は、モデルに対する固定的なプルーニングマスクを決定する従来の静的プルーニングアプローチを超えて移動する。 本手法では,プルーニングマスクは入力依存型であり,ユーザ命令に記述された情報に基づいて動的に適応する。 我々の手法は「命令追従プルーニング」と呼ばれ、ユーザ命令を入力とし、与えられたタスクに対して最も関連性の高いモデルパラメータを動的に選択するスパースマスク予測器を導入している。
  論文  参考訳（メタデータ） (2025-01-03T20:19:14Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。 我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。