論文の概要: Compressing LLMs with MoP: Mixture of Pruners

• arxiv url: http://arxiv.org/abs/2602.06127v1
• Date: Thu, 05 Feb 2026 19:01:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.064563
• Title: Compressing LLMs with MoP: Mixture of Pruners
• Title（参考訳）: MoPによるLLM圧縮:プルーナーの混合
• Authors: Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Victor Zacarias, Leandro Giusti Mugnaini, Keith Ando Ogawa, Lucas Pellicer, Rosimeire Pereira Costa, Edson Bollis, Anna Helena Reali Costa, Artur Jordao,
• Abstract要約: MoP (Mixture of Pruners) はモデルプルーニングのための反復的なフレームワークである。 深さのみのプルーニングと幅のみのプルーニングを一貫して上回ります。 実際のスピードアップに変換され、エンドツーエンドのレイテンシが40%の圧縮で39%削減される。
• 参考スコア（独自算出の注目度）: 0.5727968722424193
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The high computational demands of Large Language Models (LLMs) motivate methods that reduce parameter count and accelerate inference. In response, model pruning emerges as an effective strategy, yet current methods typically focus on a single dimension-depth or width. We introduce MoP (Mixture of Pruners), an iterative framework that unifies these dimensions. At each iteration, MoP generates two branches-pruning in depth versus pruning in width-and selects a candidate to advance the path. On LLaMA-2 and LLaMA-3, MoP advances the frontier of structured pruning, exceeding the accuracy of competing methods across a broad set of compression regimes. It also consistently outperforms depth-only and width-only pruning. Furthermore, MoP translates structural pruning into real speedup, reducing end-to-end latency by 39% at 40% compression. Finally, extending MoP to the vision-language model LLaVA-1.5, we notably improve computational efficiency and demonstrate that text-only recovery fine-tuning can restore performance even on visual tasks.
• Abstract（参考訳）: LLM(Large Language Models)の高い計算要求は、パラメータ数を減らし、推論を加速する手法を動機付けている。 これに反応して、モデルプルーニングは効果的な戦略として現れるが、現在の手法は通常、1次元の深さまたは幅にフォーカスする。 これらの次元を統一する反復的フレームワークであるMoP(Mixture of Pruners)を導入する。 各イテレーションで、MoPは深さで2つのブランチプルーニングと幅でプルーニングを生成し、パスを前進させる候補を選択する。 LLaMA-2 と LLaMA-3 では、MoP は構造化プルーニングのフロンティアを前進させ、幅広い圧縮条件で競合する手法の精度を上回っている。 また、深さのみのプルーニングと幅のみのプルーニングも一貫して上回っている。 さらに、MoPは構造的なプルーニングを実際のスピードアップに変換し、40%の圧縮でエンドツーエンドのレイテンシを39%削減する。 最後に、MoPを視覚言語モデルLLaVA-1.5に拡張することで、計算効率を向上し、テキストのみのリカバリ微調整が視覚タスクでも性能を回復できることを実証する。

関連論文リスト

• FASP: Fast and Accurate Structured Pruning of Large Language Models [24.185245582500876]
  FASP(Fast and Accurate Structured Pruning)は,大規模言語モデル(LLM)のための新しい構造化プルーニングフレームワークである。 FASPはシーケンシャルなレイヤを相互にリンクする独自のプルーニング構造を採用しており、同時に前のレイヤで対応する行を削除しながら、追加のパフォーマンス損失を発生させることなく、ひとつのレイヤで列を削除できる。 我々は,OPTおよびLLaMAモデルファミリー上でのFASPを評価し,最先端の手法と比較して,下流タスクの難易度と精度において優れた性能を示す。
  論文  参考訳（メタデータ） (2025-01-16T09:38:39Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。 我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• MoPE-CLIP: Structured Pruning for Efficient Vision-Language Models with Module-wise Pruning Error Metric [57.3330687266266]
  より小さな事前学習モデルを用いてCLIPモデルに等級に基づくプルーニングを適用すると、柔軟性が低下し、性能が低下することがわかった。 The Module-wise Pruning Error (MoPE) metric, we introduced a unified pruning framework for both pre-training and task-specific fine-tuning compression stage。
  論文  参考訳（メタデータ） (2024-03-12T17:24:26Z)
• Shortened LLaMA: Depth Pruning for Large Language Models with Comparison of Retraining Methods [5.135352292810664]
  単純深度プルーニングは大規模言語モデル(LLM)を効果的に圧縮できることを示す。 我々のプルーニング法は、特にメモリ制約条件下での推論速度を向上する。 この作業がコンパクトで有能なLLMの構築に役立つことを願っています。
  論文  参考訳（メタデータ） (2024-02-05T09:44:49Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。