論文の概要: IG-Pruning: Input-Guided Block Pruning for Large Language Models

• arxiv url: http://arxiv.org/abs/2511.02213v1
• Date: Tue, 04 Nov 2025 03:05:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:05.790732
• Title: IG-Pruning: Input-Guided Block Pruning for Large Language Models
• Title（参考訳）: IG-Pruning:大規模言語モデルのための入力ガイド型ブロックプルーニング
• Authors: Kangyu Qiao, Shaolei Zhang, Yang Feng,
• Abstract要約: 提案するIG-Pruningは,動的に層マスクを推論時に選択する,入出力対応のブロックワイドプルーニング手法である。 実験結果から,本手法は最先端の静的プルーニング法より一貫して優れていることが示された。
• 参考スコア（独自算出の注目度）: 34.984986323797976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the growing computational demands of large language models (LLMs), efficient inference has become increasingly critical for practical deployment. Depth pruning has emerged as a promising approach for reducing the computational costs of large language models by removing transformer layers. However, existing methods typically rely on fixed block masks, which can lead to suboptimal performance across different tasks and inputs. In this paper, we propose IG-Pruning, a novel input-aware block-wise pruning method that dynamically selects layer masks at inference time. Our approach consists of two stages: (1) Discovering diverse mask candidates through semantic clustering and L0 optimization, and (2) Implementing efficient dynamic pruning without the need for extensive training. Experimental results demonstrate that our method consistently outperforms state-of-the-art static depth pruning methods, making it particularly suitable for resource-constrained deployment scenarios.
• Abstract（参考訳）: 大規模言語モデル(LLM)の計算要求が増大するにつれ、効率的な推論が実用的展開においてますます重要になっている。 デプスプルーニング(depth pruning)は、トランスフォーマー層を取り除き、大規模言語モデルの計算コストを削減するための有望なアプローチとして登場した。 しかし、既存の手法は固定ブロックマスクに依存しており、様々なタスクや入力に対して最適以下のパフォーマンスをもたらす可能性がある。 本稿では,新しい入力対応ブロックワイドプルーニング手法IG-Pruningを提案する。 提案手法は,(1)セマンティッククラスタリングとL0最適化による多様なマスク候補の発見,(2)広範囲のトレーニングを必要とせずに効率的な動的プルーニングを実現すること,の2段階からなる。 実験結果から,本手法は最先端の静的プルーニング手法よりも優れた性能を示し,資源制約による展開シナリオに特に適していることがわかった。

関連論文リスト

• DynaAct: Large Language Model Reasoning with Dynamic Action Spaces [58.298135359318024]
  コンパクトなアクション空間を自動構築する新しいフレームワークtextscDynaActを提案する。 当社のアプローチは,大幅な遅延を発生させることなく,効率的な推論を維持しながら,全体的なパフォーマンスを著しく向上させる。
  論文  参考訳（メタデータ） (2025-11-11T09:47:13Z)
• Sparse Training Scheme for Multimodal LLM [26.81140959413325]
  MLLM(Multimodal Large Language Models)は、様々な領域において優れた性能を示す。 スパース・トレーニング・スキーム(STS)と呼ばれるスパース表現に基づく新しい学習効率向上フレームワークを提案する。 このスキームは、ビジュアルトークンを圧縮することで情報負荷を削減するVisual Tokenと、前方および後方の両方で言語モデルの不要なレイヤをスキップすることで計算オーバーヘッドを軽減するLayer Dynamic Skipperの2つの重要なコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2025-09-16T11:33:20Z)
• Objective Soups: Multilingual Multi-Task Modeling for Speech Processing [69.52720282028385]
  マルチ言語・マルチタスク音声処理(MSP)のための単一モデルの訓練は,タスク間の目的の相反によって著しく妨げられる。 本稿では,多目的MSPの3つの定式化について検討し,これらをthabfobjective soup recipesと呼ぶ。 我々の研究は、階層型MOOが最先端のMSPモデルを構築する上で、より効率的でスケーラブルなアプローチであることを実証している。
  論文  参考訳（メタデータ） (2025-08-12T07:01:09Z)
• LOP: Learning Optimal Pruning for Efficient On-Demand MLLMs Scaling [52.1366057696919]
  LOPは、ターゲットプルーニング制約から最適なプルーニング戦略を学ぶ、効率的なニューラルプルーニングフレームワークである。 LOPアプローチでは、自動回帰ニューラルネットワーク(NN)を使用して、ターゲットプルーニング制約に適応したレイヤワイズプルーニング戦略を直接予測する。 実験の結果,LOPは最大3桁のスピードアップを達成しつつ,様々な測定値において最先端のプルーニング手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-06-15T12:14:16Z)
• Dual-Priv Pruning : Efficient Differential Private Fine-Tuning in Multimodal Large Language Models [21.598534853947676]
  MLLMにおける微分プライバシ(DP)微調整のための2つの補完的プルーニング機構を用いたフレームワークを提案する。 我々のアプローチは、標準のDP-SGDよりも少ないメモリを一貫して活用する。 我々の知る限りでは、我々はMLLMにおけるDPファインチューニングを初めて探求している。
  論文  参考訳（メタデータ） (2025-06-08T10:33:01Z)
• SkipGPT: Dynamic Layer Pruning Reinvented with Token Awareness and Module Decoupling [16.742839354514512]
  我々は,大規模言語モデルを最適化する動的層プルーニングフレームワークであるSkipGPTを紹介する。 また,SkipGPTはモデルパラメータの40%以上を削減できることを示す。
  論文  参考訳（メタデータ） (2025-06-04T17:26:31Z)
• Efficient Multi-modal Long Context Learning for Training-free Adaptation [96.21248144937627]
  本稿では,マルチモーダル長文脈学習(EMLoC)について紹介する。 モデル入力に直接デモ例を埋め込む。 長いコンテキストのマルチモーダル入力をコンパクトでタスク固有のメモリ表現に凝縮する。
  論文  参考訳（メタデータ） (2025-05-26T10:49:44Z)
• Instruction-Following Pruning for Large Language Models [58.329978053711024]
  我々は、モデルに対する固定的なプルーニングマスクを決定する従来の静的プルーニングアプローチを超えて移動する。 本手法では,プルーニングマスクは入力依存型であり,ユーザ命令に記述された情報に基づいて動的に適応する。 我々の手法は「命令追従プルーニング」と呼ばれ、ユーザ命令を入力とし、与えられたタスクに対して最も関連性の高いモデルパラメータを動的に選択するスパースマスク予測器を導入している。
  論文  参考訳（メタデータ） (2025-01-03T20:19:14Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。 我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。