論文の概要: Magnitude Profile Pruning: Calibration-Free Structured Attention Head Removal for Transformer Compression

• arxiv url: http://arxiv.org/abs/2609.26177v1
• Date: Tue, 11 Aug 2026 02:27:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.914268
• Title: Magnitude Profile Pruning: Calibration-Free Structured Attention Head Removal for Transformer Compression
• Title（参考訳）: 変圧器圧縮用キャリブレーションフリー構造的アテンションヘッド除去法
• Abstract要約: マグニチュードプロファイル(MP)スコアは、ウェイト行ノルムの統計的外れ値検出により、ディスペンサブルヘッドを識別する。 MP-GはGQA(Grouped Query Attention)を処理する。 MP-Gはまた、RoBERTa-largeの12.5%と25%の間隔で、パープレキシティ値は7.27と10.28で、キャリブレーションに依存したベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 0.9624643581968987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured pruning of attention heads provides a hardware-friendly way to compress Transformer language models. However, existing methods for measuring head-level importance require calibration data, gradient computation, or Hessian estimation. These requirements add extra overhead and make the methods depend on the data. Our work presents Magnitude Profile (MP) scoring, a training-free criterion for head importance that identifies dispensable heads through statistical outlier detection on weight row norms. Heads whose projection weights fall within the population bulk are pruned, while heads exhibiting outlier norms, which carry disproportionate representational capacity, are preserved. Our work further gives MP-G, a variant that handles Grouped Query Attention (GQA) by distributing shared key-value group scores across associated query heads. Across five models evaluated on WikiText-2 perplexity at 12.5%-50% head sparsity, MP-G achieves the best perplexity on OPT-6.7B at all sparsity levels (18.46 at 12.5%, 27.87 at 25%, 152.0 at 50%). MP-G also gives the best results on RoBERTa-large at 12.5% and 25% sparsity, with perplexity values of 7.27 and 10.28, outperforming calibration-dependent baselines including Wanda-Head, SparseGPT-Head, and Gradient-Head. It requires zero forward passes, calibration samples, or gradient computation. At 50% sparsity, head pruning yields up to 16% parameter reduction with 50% attention FLOP savings. Our results show that weight-only statistical scoring can match or outperform data-dependent methods for structured head pruning, providing a practical, zero-cost criterion for Transformer compression.
• Abstract（参考訳）: アテンションヘッドの構造的プルーニングは、Transformer言語モデルを圧縮するハードウェアフレンドリーな方法を提供する。 しかし,従来のヘッドレベルの重要度測定にはキャリブレーションデータ,勾配計算,ヘッセン推定が必要である。 これらの要件はオーバーヘッドを増し、メソッドがデータに依存するようにします。 本研究は,重み列ノルムの統計的外れ値検出により,頭部を識別する頭部重要度判定基準であるMagnitude Profile (MP) を提示する。 個体群内で投射重量が減少する頭部は刈り取られ、不均等な表現能力を持つ異常な基準を示す頭部は保存される。 さらに当社の作業では,関連するクエリヘッド間で共有キー値のグループスコアを分散することで,グループクエリアテンション(GQA)を処理するMP-Gも提供しています。 WikiText-2のパープレキシティを12.5%から50%のピーク間隔で評価した5つのモデルで、MP-GはOPT-6.7Bですべてのスパシティレベル(18.46、12.5%、27.87、25%、152.0、50%)で最高のパープレキシティを達成している。 MP-Gはまた、RoBERTa-largeの12.5%と25%の間隔で、パープレキシティ値は7.27と10.28であり、Wanda-Head、SparseGPT-Head、Gradient-Headなどのキャリブレーションに依存したベースラインよりも優れている。 これはゼロフォワードパス、キャリブレーションサンプル、勾配計算を必要とする。 50%の間隔で、ヘッドプルーニングは最大16%のパラメータ還元と50%の注意FLOPの節約をもたらす。 以上の結果から,重みのみの統計的スコアリングは構造化ヘッドプルーニングにおけるデータ依存手法の整合性や性能に優れる可能性が示唆された。

関連論文リスト

• Calibration-Preserving Pruning: Compression as a Reliability Contract [6.908972852063454]
  プルーニング規則ではなく、分割された共形予測は、プルーニングモデルが固定されると有限サンプルの限界カバレッジを提供する。 プルーニングは、より小さな有効な予測セットを得るのに十分なスコア幾何学を保てるか? CPP-SparseGPTは15個のデータセット・スパーシティセルにまたがって13個のデータセットを生成し,11。
  論文  参考訳（メタデータ） (2026-08-24T18:31:01Z)
• TabPFN beyond Tabular Data: Calibration and Accuracy on Multimodal Embeddings [2.4483752182160954]
  我々はTabPFNを,凍結画像,テキスト,オーディオエンコーダのためのプラグアンドプレイ,ゼログレートな分類ヘッドとして評価する。 TabPFNは14のデータセット、11のエンコーダ、3つのモダリティにまたがる22,820回の評価エピソードにおいて、負の対数類似度(NLL)と期待の校正誤差(ECE)の双方において、9つの分類長の中で最高の平均ランクを達成している。 その精度の利点は条件付きであり、中程度から高いショット数と低からモデレートの特徴次元に集中している。
  論文  参考訳（メタデータ） (2026-07-13T02:11:27Z)
• Selecting Samples on Graphs: A Unified Dataset Pruning Framework for Lossless Training Acceleration [71.77541419885925]
  グラフベースの統合DPフレームワークを提案する。 データセットを重み付きグラフとしてモデル化することにより、DPは最大重み付き傾き問題(MWCP)としてキャストできる。 ResNet-50でImageNet-1kの精度を犠牲にすることなく、トレーニング時間を40%以上短縮する。
  論文  参考訳（メタデータ） (2026-06-11T05:13:32Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Pruning via Causal Attribution Preserves Reasoning Performance in Large Language Models [3.1818394562896817]
  Causal Pruning (CAP) は、推論タスクに対する因果的影響を測定することによって、重要な注意を識別する。 CAPは、フォワード中にヘッドがマスクされたときに期待される性能劣化を、推論問題の小さなキャリブレーションセットを通過すると見積もっている。 等級のみの基準やアクティベーションベースの基準とは異なり、CAPの介入測定は各頭部の機能的寄与を直接キャプチャする。
  論文  参考訳（メタデータ） (2026-04-27T01:44:10Z)
• Intrinsic Structure as a Proxy for Saliency: SVD-Based Weight Preservation for Mixed-Precision Quantization in Large Language Models [0.0]
  ポストトレーニング量子化(PTQ)は、モデル重みの精度を4ビット以下に下げることでこの問題に対処する。 現在の最先端の手法は、塩分量を特定するためにキャリブレーションデータに依存している。 本稿では,データフリーな構造認識仮説を提案する。Singular Value Decomposition (SVD) による主成分として同定された重みは,モデル下流の性能に本質的に重要である。
  論文  参考訳（メタデータ） (2025-12-01T06:58:30Z)
• Pose-Robust Calibration Strategy for Point-of-Gaze Estimation on Mobile Phones [52.87468614536999]
  キャリブレーション点と頭部の多様性が推定精度に与える影響を分析する。 実験により、キャリブレーション中により広い範囲の頭部ポーズを導入することで、推定器がポーズ変動を処理する能力を向上させることが示されている。 携帯電話を移動しながらキャリブレーションポイントを固定する動的キャリブレーション戦略を提案する。
  論文  参考訳（メタデータ） (2025-08-14T01:28:30Z)
• Clustering and Ranking: Diversity-preserved Instruction Selection through Expert-aligned Quality Estimation [56.13803674092712]
  本稿では,産業に優しく,専門家に順応し,多様性に配慮した指導データ選択手法を提案する:クラスタリングとランキング(CaR) CaRは2段階のプロセスを採用している: まず、専門家の好みに合わせた高精度(84.25%)のスコアリングモデルを使用して、命令ペアをランク付けする。 我々の実験では、CaRはAlpacaのITデータのわずか1.96%を効率よく選択したが、結果のAlpaCaRモデルはGPT-4の評価において平均32.1%の精度でAlpacaのパフォーマンスを上回った。
  論文  参考訳（メタデータ） (2024-02-28T09:27:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。