論文の概要: WUSPruner: Second-Moment-Optimal Transforms for Structured Pruning

• arxiv url: http://arxiv.org/abs/2610.15394v1
• Date: Sun, 11 Oct 2026 06:47:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 01:19:58.058785
• Title: WUSPruner: Second-Moment-Optimal Transforms for Structured Pruning
• Title（参考訳）: WUSPruner:構造化プルーニングのための第2モーメント最適変換
• Abstract要約: 大規模言語モデルの構造化プルーニングのための変換ベースのフレームワークであるWUSPrunerを紹介する。 WUSHの第二モーメント変換にインスパイアされたWUS変換は、活性化統計と重み統計を併用して構成される。 WUS変換は, 肯定的な第2モーメントの下では, 基底のすべての可逆的変化に対する局所的再構成損失を最小限に抑えることを示す。
• 参考スコア（独自算出の注目度）: 72.3383323454669
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured pruning is typically formulated as identifying which model dimensions to remove, often within the model's original representation. However, the effect of coordinate deletion fundamentally depends on the basis in which pruning is performed. This raises a more fundamental question: how should the basis be chosen specifically for coordinate deletion? We introduce WUSPruner, a transform-based framework for structured pruning of large language models. We formulate basis selection as a local linear reconstruction problem that directly minimizes the reconstruction loss induced by pruning. Inspired by the second-moment transformation in WUSH, we consider a WUS transform constructed jointly from activation and weight statistics. We show that under positive-definite second moments, WUS transform minimizes the local reconstruction loss over all invertible changes of basis. In the resulting basis, the activation and weight second moments are simultaneously diagonalized and balanced, causing the deletion error to decompose into independent spectral contributions and yielding a principled criterion for coordinate selection. Guided by this result, we develop a scalable pruning method based on blockwise WUS transformations and compact input projections. Experiments on Llama and Qwen models from 8B to 72B parameters show consistent improvements over structured pruning baselines across language modeling, knowledge, commonsense reasoning, mathematics, and code generation benchmarks, while also delivering practical reductions in inference latency and memory usage.
• Abstract（参考訳）: 構造化プルーニング(Structured pruning)は、通常、モデル本来の表現の中で、どのモデル次元を除去するかを識別するものとして定式化される。 しかし、座標削除の効果は、プルーニングが実行される基礎に大きく依存する。 このことは、より根本的な疑問を提起する: 座標削除のために、その基礎をどのように選ぶべきか? 大規模言語モデルの構造化プルーニングのための変換ベースのフレームワークであるWUSPrunerを紹介する。 局所線形再構成問題として基底選択を定式化し, 刈り取りによる復元損失を直接最小化する。 WUSHの第二モーメント変換にインスパイアされたWUS変換は、活性化統計と重み統計を併用して構成される。 WUS変換は, 肯定的な第2モーメントの下では, 基底のすべての可逆的変化に対する局所的再構成損失を最小限に抑えることを示す。 その結果、活性化と重み2次モーメントは同時に対角化と平衡化され、削除誤差は独立したスペクトル寄与に分解され、座標選択の原理的基準が与えられる。 この結果から,ブロックワイズWUS変換とコンパクトな入力プロジェクションに基づくスケーラブルなプルーニング手法を開発した。 8Bから72BパラメータのLlamaとQwenモデルに対する実験は、言語モデリング、知識、コモンセンス推論、数学、コード生成ベンチマークを含む構造化プルーニングベースラインに対して一貫した改善を示し、推論レイテンシとメモリ使用量の実用的な削減を提供する。

関連論文リスト

• Transform-Aligned Learned Features for Lossy Point Cloud Attribute Compression [16.572808160959926]
  変換ベースの手法は、ポイントクラウド属性圧縮のための効果的なフレームワークを提供する。 本研究では,学習空間表現に属性変換を適用することで,変換適応型学習特徴量(TALF)を提案する。 解析の結果, 得られた特徴は滑らかな非線形モデルの1次予測項を正確に表していることがわかった。
  論文  参考訳（メタデータ） (2026-09-28T10:27:41Z)
• PriorPose: Reference-Guided Joint Deformation and Alignment for Category-Level Object Pose Estimation [65.40341394642324]
  カテゴリレベルのオブジェクトのポーズ推定は、インスタンス固有のCADモデルなしで未確認のインスタンスに対して$(R,t,s)$の類似性変換を復元しようとする。 最も競争力のある方法は通信方式である。 カテゴリを明示的に保持する参照誘導対応フレームワークである PreferPose を提案する。
  論文  参考訳（メタデータ） (2026-09-15T06:57:34Z)
• PRISM: Parallel Residual Iterative Sequence Model [52.26239951489612]
  我々はこの緊張を解決するためにPRISM(Parallel Residual Iterative Sequence Model)を提案する。 PRISMは、パラレル化可能な形で多段階精製の重要な構造特性を捉える、ソルバに着想を得た帰納バイアスを導入している。 この定式化が Rank-$L$ の蓄積を達成することを証明し、更新多様体を単一ステップの Rank-$1$ ボトルネックを超えて構造的に拡張する。
  論文  参考訳（メタデータ） (2026-02-11T12:39:41Z)
• RCPU: Rotation-Constrained Error Compensation for Structured Pruning of a Large Language Model [4.7618979083425215]
  大規模言語モデル(LLM)の構造化プルーニングによる誤りに対処する回転制限補償法を提案する。 LLMは大量のデータセットに基づいて訓練され、表現空間に豊富なセマンティック知識を蓄積する。 実験では,提案手法をLLaMA-7Bに適用し,WikiText-2および複数の言語理解ベンチマーク上で評価する。
  論文  参考訳（メタデータ） (2025-10-09T04:54:09Z)
• Geometrically Constrained and Token-Based Probabilistic Spatial Transformers [5.437226012505534]
  我々は、トランスフォーマーベースのビジョンパイプラインの標準化ツールとして、空間トランスフォーマーネットワーク(STN)を再考する。 本稿では、堅牢性を向上させる確率的、コンポーネントワイドな拡張を提案する。 本手法が他のSTNと比較して頑健さを常に向上することを示す。
  論文  参考訳（メタデータ） (2025-09-14T11:30:53Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。 本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。