論文の概要: Unlocking Structured Pruning for Reasoning Language Models via Attention-Preserving MLP Trimming

• arxiv url: http://arxiv.org/abs/2610.19121v1
• Date: Tue, 13 Oct 2026 19:55:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.778053
• Title: Unlocking Structured Pruning for Reasoning Language Models via Attention-Preserving MLP Trimming
• Title（参考訳）: 注意保存型MLPトリミングによる推論言語モデルに対するアンロック型構造化プルーニング
• Abstract要約: texttQwen3-14B, texttQwen3-14B, texttQwen3-14B, texttQwen3-14B, texttQwen3-14B, texttQwen3-14B, texttQwen3-14B, texttQwen3-14B, texttQwen3-14B
• 参考スコア（独自算出の注目度）: 13.738895985635407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured pruning reduces LLM inference costs by removing model components to produce smaller dense models. However, existing methods can cause reasoning performance to collapse on long-form reasoning tasks such as AIME. We propose \textit{LayerTrim}, a training-free structured pruning method that identifies redundant decoder layers and selectively trims their MLP features while preserving attention and decoder depth. LayerTrim is the first training-free structured pruning method designed to preserve long-form reasoning without gradients or recovery training. Across three reasoning language models and five benchmarks, LayerTrim outperforms existing structured pruning methods in most evaluated settings, improving average accuracy by up to 21.4 percentage points over RESP. On \texttt{Qwen3-14B}, LayerTrim achieves 1.24$\times$ faster prefill and 19.7\% lower peak GPU memory than the dense model, while better preserving reasoning ability. It also achieves the shortest average generation length among evaluated pruned models, while retaining the highest average accuracy. These results demonstrate that LayerTrim improves reasoning efficiency through both structural compression and reduced token generation.
• Abstract（参考訳）: 構造化プルーニングは、モデル成分を除去してより小さな密度のモデルを生成することにより、LCM推論コストを低減する。 しかし、既存の手法は、AIMEのような長文推論タスクで推論性能が崩壊する可能性がある。 本稿では,冗長なデコーダ層を識別し,注目度とデコーダ深度を保ちながらMLP特徴を選択的にトリムする,トレーニング不要な構造化プルーニング手法である‘textit{LayerTrim} を提案する。 LayerTrimは、勾配や回復訓練を伴わずに長期の推論を維持するために設計された最初の訓練不要な構造化プルーニング手法である。 3つの推論言語モデルと5つのベンチマークで、LayerTrimは、ほとんどの評価された設定で既存の構造化プルーニングメソッドよりも優れており、RESPよりも最大21.4ポイント精度が向上している。 texttt{Qwen3-14B}では、LayerTrimは高密度モデルよりも1.24$\times$高速プリフィルと19.7\%低いピークGPUメモリを実現し、推論能力は向上した。 また、評価されたプルーニングモデルの中で最も短い平均生成長を達成し、高い平均精度を維持した。 これらの結果から,LayerTrimは構造圧縮とトークン生成の削減により推論効率を向上することが示された。

関連論文リスト

• Two-dimensional early exit optimisation of LLM inference [0.4893345190925178]
  大規模言語モデルにおいて,2次元の早期退避戦略を導入する。 本手法は,各次元を独立に最適化することによる乗算的計算貯蓄を実現する。 その結果,2次元早期出口戦略は,入力構造全体にわたってセマンティック情報が予測可能に蓄積された場合に優れることがわかった。
  論文  参考訳（メタデータ） (2026-03-27T15:27:58Z)
• The Structural Scalpel: Automated Contiguous Layer Pruning for Large Language Models [33.90597962418094]
  大規模言語モデルのための新しい連続層プルーニングフレームワークであるCLPを提案する。 CLPは、プルーニングに最適な連続層セグメントを自動的に識別する、微分可能な凹面ゲートアルゴリズムを使用している。 CLPは量子化とシームレスに結合して、わずかな性能損失だけでモデルをさらに圧縮することができる。
  論文  参考訳（メタデータ） (2025-10-25T16:40:17Z)
• SPAP: Structured Pruning via Alternating Optimization and Penalty Methods [2.1388885579612804]
  大規模言語モデル(LLM)は、しばしば計算とメモリの要求によって制約される。 最適化理論に基づくLLMのための新規かつ効率的な構造化プルーニングフレームワークであるSPAP(Structured Pruning via Alternating Optimization and Penalty Methods)を提案する。 我々の研究は、モデル性能を保ちながらLLMを刈り取るための実用的で最適化駆動のソリューションを提供する。
  論文  参考訳（メタデータ） (2025-05-06T09:47:53Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。 我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• LaCo: Large Language Model Pruning via Layer Collapse [56.92068213969036]
  トランスフォーマーに基づく大規模言語モデル(LLM)は、サイズ拡大の顕著な傾向を目撃している。 モデル量子化、知識蒸留、モデルプルーニングといった既存の手法は、様々な問題によって制約されている。 後部モデル層が前層に崩壊する「textitLayer Collapse (LaCo)」と呼ばれる簡潔な層構造プルーナーを提案する。
  論文  参考訳（メタデータ） (2024-02-17T04:16:30Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。