論文の概要: TriSP: Tri-Signal Structured Pruning for Large Language Models

• arxiv url: http://arxiv.org/abs/2607.22587v1
• Date: Tue, 09 Jun 2026 17:02:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:38.979454
• Title: TriSP: Tri-Signal Structured Pruning for Large Language Models
• Title（参考訳）: TriSP: 大規模言語モデルのための三信号構造化プルーニング
• Abstract要約: 大規模言語モデル(LLM)は多様なタスクにわたって高いパフォーマンスを達成するが、そのデプロイメントはメモリと計算コストによって制約される。 構造化プルーニング(Structured pruning)は、アテンションヘッドやマルチ層パーセプトロン(Multi-Layer Perceptron、MLP)ニューロンなどの構造全体を除去して、標準ハードウェア上で効率的に動作するより小さな密度のモデルを生成することで、この問題に対処する。 本稿では,Tri-Signal Structured Pruning(Tri-Signal Structured Pruning,Tri-Signal Structured Pruning,Tri-Signal Structured Pruning,Tri-Signal Structured Pruning)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) achieve strong performance across diverse tasks but their deployment is constrained by the memory and compute cost of their parameters. Structured pruning addresses this by removing entire structures such as attention heads and Multi-Layer Perceptron (MLP) neurons to produce smaller dense models that run efficiently on standard hardware. However, existing methods rely on either gradient-based importance estimation, which is memory-prohibitive, or activation-based statistical proxies, which do not directly measure the effect of removal on the loss. Furthermore, the interaction between the importance criterion and the post-pruning recovery strategy has not been systematically studied. We propose TriSP (Tri-Signal Structured Pruning), an importance metric that combines weight magnitude scaled by activation norm with first-order gradient sensitivity via a geometric mean, producing a channel-level score that captures both structural and loss-sensitivity signals. Combined with adaptive per-layer budget allocation and low-rank adaptation (LoRA) recovery, TriSP achieves the lowest perplexity and highest zero-shot accuracy across all tested configurations, reaching 6.80 WikiText-2 perplexity at 20% pruning on LLaMA-7B. Inference throughput improves by 82% at 50% pruning, while still maintaining competitive performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多様なタスクにわたって高いパフォーマンスを達成するが、そのデプロイメントはメモリと計算コストによって制約される。 構造化プルーニング(Structured pruning)は、アテンションヘッドやマルチ層パーセプトロン(Multi-Layer Perceptron、MLP)ニューロンなどの構造全体を除去して、標準ハードウェア上で効率的に動作するより小さな密度のモデルを生成することで、この問題に対処する。 しかし、既存の手法では、メモリ禁止の勾配に基づく重要度推定か、あるいはアクティベーションに基づく統計プロキシに頼っているため、損失に対する除去の影響を直接測定することはできない。 さらに, 重要基準と戦後の回復戦略との相互作用について, 体系的に検討されていない。 本稿では,TriSP(Tri-Signal Structured Pruning)を提案する。Tri-Signal Structured Pruning(Tri-Signal Structured Pruning,Tri-Signal Structured Pruning,Tri-Signal Structured Pruning,Tri-Signal Structured Pruning,Tri-Signal Structured Pruning,Tri-Signal Structured Pruning,Tri-Signal Structured Pruning,Tri-Signal Structured Pruning)と呼ぶ。 適応的なレイヤ単位の予算割り当てとローランク適応(LoRA)リカバリと組み合わせて、TriSPはテストされたすべての構成において最も低いパープレキシティと最高のゼロショット精度を実現し、LLaMA-7B上で20%のプルーニングで6.80 WikiText-2パープレキシティに達した。 推論スループットは50%のプルーニングで82%向上し、競争性能は維持される。

関連論文リスト

• Think Before You Prune: Self-Reflective Structured Pruning for Reasoning Language Models [31.422773877490613]
  推論 LLM (Reasoning LLMs) はチェーン・オブ・ソート・ジェネレーションを通じて強力な多段階推論を実現する。 RLMの大きなモデルサイズと長いデコードタイムのアウトプットは、リソース制約のある設定にデプロイするのにコストがかかり、不適当である。 我々は、構造化されたプルーニングフレームワークであるRESPを紹介し、プルーニング決定とモデルの推論力学を一致させる。
  論文  参考訳（メタデータ） (2025-12-01T20:27:05Z)
• Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
  LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。 本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。 我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
  論文  参考訳（メタデータ） (2025-11-11T21:50:44Z)
• From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models [27.774067682004745]
  GISP-Global Iterative Structured Pruningは、ブロックワイド正規化により、構造レベルで集約された1次、損失ベースの重要な重み付けを用いて、注目ヘッドとチャネルを除去する。 反復的なスケジュールは、ワンショットプルーニングではなく、高い間隔で精度を安定させ、中間微調整を必要とせず、パープレキシティの崩壊を緩和する。 重要度はモデルレベルの損失によって定義されるため、GISPはタスク固有の目的を自然にサポートしている。
  論文  参考訳（メタデータ） (2025-10-20T19:04:09Z)
• Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
  サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。 Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-28T13:27:38Z)
• NIRVANA: Structured pruning reimagined for large language models compression [50.651730342011014]
  直近のゼロショット保存精度と頑健な微調整のバランスをとるために, NIRVANAを導入した。 構造化プルーニングによって引き起こされる固有の課題にさらに対処するため、NIRVANAは層やモジュール間の適応的な空間割当機構を取り入れている。 Llama3, Qwen, T5モデルで行った実験では、NIRVANAは等価な空間制約の下で既存の構造化プルーニング法よりも優れていた。
  論文  参考訳（メタデータ） (2025-09-17T17:59:00Z)
• High-Layer Attention Pruning with Rescaling [14.141903038286362]
  プルーニングは大規模言語モデル(LLM)の圧縮に非常に効果的な手法である 本稿では,モデル上層における注意を戦略的に喚起する新しいプルーニングアルゴリズムを提案する。 我々は, LLaMA3.1-8B, Mistral-7B-v0.3, Qwen2-7B, Gemma2-9Bを含む広範囲のLLMについて総合的な実験を行った。
  論文  参考訳（メタデータ） (2025-07-02T17:15:05Z)
• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• Pangu Light: Weight Re-Initialization for Pruning and Accelerating LLMs [79.7618807098457]
  大きな言語モデル(LLM)は多くのタスクにまたがって最先端の機能を提供しますが、その巨大なサイズと推論コストは、実用的なデプロイメントに重大な計算上の課題をもたらします。 本稿は,このような積極的関節切断を実現させる上で重要な,しばしば見落とされがちな側面として,残った重量の戦略的再初期化と調整があげられることを論じる。 構造化プルーニングを中心としたLCM加速のためのフレームワークであるPangu Lightと、新しい重量再初期化技術を紹介する。
  論文  参考訳（メタデータ） (2025-05-26T15:57:08Z)
• Lightweight and Post-Training Structured Pruning for On-Device Large Lanaguage Models [11.93284417365518]
  我々は,ハイブリッド・グラニュラリティ・プルーニング戦略を用いた軽量なポストトレーニング構造化プルーニング手法Compumを紹介する。 Compは、LLM-Prunerと比較して20%のプルーニング比でLLaMA-2-7Bモデルの性能を6.13%向上させる。
  論文  参考訳（メタデータ） (2025-01-25T16:03:58Z)
• LLM-BIP: Structured Pruning for Large Language Models with Block-Wise Forward Importance Propagation [0.0]
  ブロック単位の重要スコアの伝搬に基づくより正確なプルーニング指標を提案する。 我々は,LLaMA-7B,Vicuna-7B,LLaMA-13Bを用いて,共通ゼロショットタスクを用いて提案手法の評価を行った。
  論文  参考訳（メタデータ） (2024-12-09T11:57:16Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。 我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。