論文の概要: CORP: Closed-Form One-shot Representation-Preserving Structured Pruning for Vision Transformers

• arxiv url: http://arxiv.org/abs/2602.05243v1
• Date: Thu, 05 Feb 2026 03:03:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.735896
• Title: CORP: Closed-Form One-shot Representation-Preserving Structured Pruning for Vision Transformers
• Title（参考訳）: CORP:視覚変換器用閉鎖型ワンショット表現保存型構造化プルーニング
• Authors: Boxiang Zhang, Baijian Yang,
• Abstract要約: ビジョン変換器は高い精度を実現するが、高い計算とメモリコストを発生させる。 我々は、視覚変換器のためのクローズドフォームワンショット構造化プルーニングフレームワーク、textbfCORPを提案する。
• 参考スコア（独自算出の注目度）: 2.4851388650413866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Transformers achieve strong accuracy but incur high compute and memory cost. Structured pruning can reduce inference cost, but most methods rely on retraining or multi-stage optimization. These requirements limit post-training deployment. We propose \textbf{CORP}, a closed-form one-shot structured pruning framework for Vision Transformers. CORP removes entire MLP hidden dimensions and attention substructures without labels, gradients, or fine-tuning. It operates under strict post-training constraints using only a small unlabeled calibration set. CORP formulates structured pruning as a representation recovery problem. It models removed activations and attention logits as affine functions of retained components and derives closed-form ridge regression solutions that fold compensation into model weights. This minimizes expected representation error under the calibration distribution. Experiments on ImageNet with DeiT models show strong redundancy in MLP and attention representations. Without compensation, one-shot structured pruning causes severe accuracy degradation. With CORP, models preserve accuracy under aggressive sparsity. On DeiT-Huge, CORP retains 82.8\% Top-1 accuracy after pruning 50\% of both MLP and attention structures. CORP completes pruning in under 20 minutes on a single GPU and delivers substantial real-world efficiency gains.
• Abstract（参考訳）: ビジョン変換器は高い精度を実現するが、高い計算とメモリコストを発生させる。 構造化プルーニングは推論コストを削減できるが、ほとんどの手法は再訓練や多段階最適化に依存している。 これらの要件は、トレーニング後のデプロイメントを制限する。 視覚変換器のためのクローズドなワンショット構造化プルーニングフレームワークである \textbf{CORP} を提案する。 CORPはラベル、勾配、微調整なしで、MLPの隠された次元と注意サブ構造全体を除去する。 厳格な訓練後制約の下では、小さなラベルなしキャリブレーションセットのみを使用して動作する。 CORPは表現回復問題として構造化プルーニングを定式化する。 これは、保持成分のアフィン関数としてアクティベーションとアテンションロジットを除去し、モデルの重みに補償を折り畳む閉形式のリッジ回帰解を導出する。 これにより、キャリブレーション分布下での予測表現誤差を最小化する。 DeiTモデルを用いたImageNetの実験は、MLPとアテンション表現に強い冗長性を示す。 補償がなければ、ワンショットの構造化プルーニングは深刻な精度低下を引き起こす。 CORPでは、モデルは攻撃的な間隔で精度を維持する。 DeiT-Huge では、CORP は MLP と注目構造の両方を50% のプルーニングした後、82.8 % Top-1 の精度を維持している。 CORPは1つのGPU上で20分未満でプルーニングを完了し、実質的な効率向上を実現する。

関連論文リスト

• Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
  ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。 本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。 提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
  論文  参考訳（メタデータ） (2025-10-20T16:15:03Z)
• Diversity-Guided MLP Reduction for Efficient Large Vision Transformers [62.33249256133204]
  トランスフォーマーモデルは優れたスケーリング特性を実現し、モデルキャパシティの増大により性能が向上する。 大規模モデルパラメータは、計算とメモリの大幅なコストにつながる。 そこで本稿では,大規模な視覚変換器のパラメータを著しく削減するDGMR法を提案する。
  論文  参考訳（メタデータ） (2025-06-10T08:59:27Z)
• Constrained Edge AI Deployment: Fine-Tuning vs Distillation for LLM Compression [1.85373927927491]
  現代のモデルは、エッジデプロイメントの厳密な計算、メモリ、接続制約を満たすために、構造化プルーニングと再トレーニングの組み合わせによって圧縮されることが多い。 我々の焦点は最大圧縮を達成することではなく、再学習損失関数の影響を分離することである。 エッジネットワークに典型的な断続的あるいは否定的な接続シナリオに適したコモンセンスQAのOLMo2-7B-SFTモデル上で両方のパイプラインを評価する。
  論文  参考訳（メタデータ） (2025-05-13T19:06:32Z)
• PIP: Perturbation-based Iterative Pruning for Large Language Models [15.00536465178398]
  PIP (Perturbation-based Iterative Pruning) は,大規模言語モデルを最適化する新しい二重ビュー構造化プルーニング手法である。 勾配差の計算により、PIPはこれらの2つの見解の区別に苦慮している人たちを反復的に引き起こす。 実験の結果,PIPは元のモデルの精度の85%以上を維持しつつ,パラメータ数を約20%削減できることがわかった。
  論文  参考訳（メタデータ） (2025-01-25T17:10:50Z)
• PAT: Pruning-Aware Tuning for Large Language Models [19.622152991641045]
  大規模言語モデルは言語タスク、特に事前訓練後の教師付き微調整において優れている。 伝統的なポストホットプルーニングは、しばしばパフォーマンスを著しく損なう。 モデル冗長性を排除するために,Pruning-Aware Tuning(PAT)パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-08-27T01:04:14Z)
• SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
  ビジョントランスフォーマーは多くの計算タスクで素晴らしいパフォーマンスを達成した。 密度の高い接続は、より大きな膨張比をサポートするスパースブロック対角構造に置き換えることができることを示す。 また、トレーニング中に並列分岐として、軽量でパラメータフリーなチャネル共分散アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-12-01T08:22:34Z)
• CrAM: A Compression-Aware Minimizer [103.29159003723815]
  本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。 CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。 CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
  論文  参考訳（メタデータ） (2022-07-28T16:13:28Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。