論文の概要: Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models

• arxiv url: http://arxiv.org/abs/2610.15781v1
• Date: Sun, 11 Oct 2026 17:08:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 16:41:56.000042
• Title: Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models
• Title（参考訳）: ハードウェア効率の良い大規模言語モデルのための資源制約下での不均質な構造化プルーニング
• Abstract要約: トレーニングフリープルーニングは、事前訓練された大きな言語モデルから重みを取り除き、デプロイメントコストを削減します。 ハードウェア対応プルーニングフレームワークであるHeterogeneous Structured Pruning (HSP)を提案する。 NVIDIA Jetson Orin Nano Super edge デバイスにおける OPT および LLaMA モデル上での HSP の評価を行った。
• 参考スコア（独自算出の注目度）: 13.688082243942311
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training-free pruning removes weights from pretrained large language models to reduce their deployment cost. However, existing approaches typically consider only the total number of retained weights. Consequently, their pruning decisions do not account for how target hardware stores and processes those weights. These methods select a sparsity structure in advance and apply it uniformly to all projections, rather than accounting for how each structure trades pruning error against latency and memory across sublayers. We propose Heterogeneous Structured Pruning (HSP), a hardware-aware pruning framework that combines two components: (i) a heterogeneous search space of dense, unstructured, 2:4, block-sparse, and head / channel (H/C) pruning options and (ii) structure-regularising constraints based on latency and memory models. Our contribution generalises existing importance-based methods: a global solver selects one option per sublayer to minimise proxy pruning loss under a resource budget, thereby assigning each projection a structure and density. We evaluate HSP on OPT and LLaMA models for an NVIDIA Jetson Orin Nano Super edge device, where it improves the quality-resource frontiers over training-free baselines. A project page and updated links for the related code is maintained at: cameronbarker.me/publications/hsp.
• Abstract（参考訳）: トレーニングフリープルーニングは、事前訓練された大きな言語モデルから重みを取り除き、デプロイメントコストを削減します。 しかし、既存のアプローチは通常、保持される重量の総数のみを考慮する。 結果として、彼らの刈り取り決定は、その重みをターゲットハードウェアに格納し、どのように処理するかを考慮しない。 これらの手法は、各構造がサブレイヤ間の遅延やメモリに対するプルーニングエラーをどう処理するかを考慮せずに、事前にスパーシティ構造を選択し、全てのプロジェクションに均一に適用する。 我々は2つのコンポーネントを組み合わせたハードウェア対応プルーニングフレームワークであるHeterogeneous Structured Pruning (HSP)を提案する。 (i)密度、非構造、2:4、ブロックスパース、ヘッド/チャンネル(H/C)プルーニングオプションの不均一な探索空間。 (II)レイテンシとメモリモデルに基づく構造規則化制約。 グローバルソルバはサブレイヤ毎に1つのオプションを選択し、リソース予算下でのプロキシプルーニング損失を最小限に抑え、各プロジェクションに構造と密度を割り当てる。 NVIDIA Jetson Orin Nano Super edge デバイスにおける OPT および LLaMA モデル上での HSP の評価を行った。 cameronbarker.me/publications/hsp.comのプロジェクトページと関連コードの更新リンクが維持されている。

関連論文リスト

• Variable-Width Transformers [57.07167443557886]
  本稿では,$times$-shaped > former architectureを提案する。 我々の設計は、パラメータフリーの残留リサイズ機構を利用して、中間層を狭めながら、より広い早期層と後期層を維持している。 平均的な層幅を減らすことで、このアーキテクチャは全体のFLOPを少なくし、KVキャッシュメモリを小さくし、I/Oコストを削減できる。
  論文  参考訳（メタデータ） (2026-06-16T17:59:03Z)
• Multi-Objective Structured Pruning of LLMs for Latency and Model Size Optimization [2.3012967702331313]
  大きな言語モデル(LLM)は、強い推論とクエリ応答能力のために広く採用されている。 組み込みおよびエッジコンピューティング環境へのデプロイは、厳格なレイテンシ、メモリ、エネルギー制約のため、依然として困難である。 本稿では,これらの制約に対処するため,ハードウェアを意識した多目的構造化プルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-08T09:38:13Z)
• From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models [27.774067682004745]
  GISP-Global Iterative Structured Pruningは、ブロックワイド正規化により、構造レベルで集約された1次、損失ベースの重要な重み付けを用いて、注目ヘッドとチャネルを除去する。 反復的なスケジュールは、ワンショットプルーニングではなく、高い間隔で精度を安定させ、中間微調整を必要とせず、パープレキシティの崩壊を緩和する。 重要度はモデルレベルの損失によって定義されるため、GISPはタスク固有の目的を自然にサポートしている。
  論文  参考訳（メタデータ） (2025-10-20T19:04:09Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• StructPrune: Structured Global Pruning asymptotics with $\mathcal{O}(\sqrt{N})$ GPU Memory [11.996799691784693]
  プルーニングは大規模言語モデル(LLM)のスケーリングに重要である グローバルプルーニングは高いパフォーマンスを実現するが、$mathcalO(N)$メモリを必要とする。 ローカルプルーニングは、レイヤを独立してプルーニングすることで、GPUメモリ使用量を単一のレイヤに短縮する。
  論文  参考訳（メタデータ） (2025-09-25T19:16:50Z)
• Progressive Binarization with Semi-Structured Pruning for LLMs [36.91249209658632]
  半構造化プルーニング(PBS$2$P)によるプログレッシブバイナリ化を提案し,バイナライゼーションと半構造化プルーニングをシームレスに統合する新しいポストトレーニングフレームワークを提案する。 PBS$2$P は,2進法(SOTA) の2進法を複雑度と下流精度の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-02-03T13:30:29Z)
• DISP-LLM: Dimension-Independent Structural Pruning for Large Language Models [62.98273649512654]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な成功を収めた。 これらのモデルに関連するメモリと計算コストの増加は、リソース制限されたデバイスへの展開に重大な課題をもたらす。 そこで本研究では,構造解析手法によって課される制約を緩和する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T18:51:18Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。