論文の概要: MOONSHOT : A Framework for Multi-Objective Pruning of Vision and Large Language Models

• arxiv url: http://arxiv.org/abs/2604.13287v1
• Date: Tue, 14 Apr 2026 20:31:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.291542
• Title: MOONSHOT : A Framework for Multi-Objective Pruning of Vision and Large Language Models
• Title（参考訳）: MOONSHOT : 視覚と大規模言語モデルの多目的プルーニングのためのフレームワーク
• Authors: Gabriel Afriat, Xiang Meng, Shibal Ibrahim, Hussein Hazimeh, Rahul Mazumder,
• Abstract要約: MOONSHOTは、任意の単目的プルーニングメソッドを多目的定式化に拡張するフレームワークである。 C4のパープレキシティは2:4の間隔で最大32.6%減少し、7つの分類ベンチマークでゼロショット平均精度を最大4.9ポイント向上させる。 Vision Transformersでは、ImageNet-1kの精度を70%の間隔で5ポイント以上改善し、ResNet-50では90%の間隔で4ポイントアップする。
• 参考スコア（独自算出の注目度）: 22.43360645119589
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weight pruning is a common technique for compressing large neural networks. We focus on the challenging post-training one-shot setting, where a pre-trained model is compressed without any retraining. Existing one-shot pruning methods typically optimize a single objective, such as a layer-wise reconstruction loss or a second-order Taylor approximation of the training loss. We highlight that neither objective alone is consistently the most effective across architectures and sparsity levels. Motivated by this insight, we propose MOONSHOT, a general and flexible framework that extends any single-objective pruning method into a multi-objective formulation by jointly optimizing both the layer-wise reconstruction error and second-order Taylor approximation of the training loss. MOONSHOT acts as a wrapper around existing pruning algorithms. To enable this integration while maintaining scalability to billion-parameter models, we propose modeling decisions and introduce an efficient procedure for computing the inverse Hessian, preserving the efficiency of state-of-the-art one-shot pruners. When combined with state-of-the-art pruning methods on Llama-3.2 and Llama-2 models, MOONSHOT reduces C4 perplexity by up to 32.6% at 2:4 sparsity and improves zero-shot mean accuracy across seven classification benchmarks by up to 4.9 points. On Vision Transformers, it improves accuracy on ImageNet-1k by over 5 points at 70% sparsity, and on ResNet-50, it yields a 4-point gain at 90% sparsity.
• Abstract（参考訳）: ウェイトプルーニングは、大きなニューラルネットワークを圧縮する一般的なテクニックである。 我々は,事前訓練されたモデルを再訓練せずに圧縮する,単発訓練後の挑戦的な設定に焦点をあてる。 既存のワンショットプルーニング手法は、通常、レイヤーワイド再構成損失やトレーニング損失の2階テイラー近似など、単一の目的を最適化する。 どちらの目的も、アーキテクチャや疎性レベルにおいて、一貫して最も効果的であることを強調します。 この知見により, 単目的プルーニング法を多目的定式化に拡張する汎用かつ柔軟なフレームワークMOONSHOTを提案する。 MOONSHOTは、既存のプルーニングアルゴリズムのラッパーとして機能する。 数十億パラメータモデルに対するスケーラビリティを維持しながらこの統合を実現するため、我々は、逆ヘッセン式計算の効率的な手順を導入し、最先端のワンショットプルーナーの効率を保ちながら、モデリング決定を提案する。 Llama-3.2 と Llama-2 の最先端のプルーニング手法と組み合わせることで、MOONSHOT は C4 の難易度を 2:4 間隔で 32.6% まで低減し、7つの分類ベンチマークで最大4.9 ポイントまでゼロショット平均精度を向上させる。 Vision Transformersでは、ImageNet-1kの精度を70%の間隔で5ポイント以上改善し、ResNet-50では90%の間隔で4ポイントアップする。

関連論文リスト

• E$^3$-Pruner: Towards Efficient, Economical, and Effective Layer Pruning for Large Language Models [24.195465096877196]
  レイヤープルーニング(Layer pruning)は、モデル圧縮のためのハードウェアフレンドリーなアプローチである。 微分可能なマスク最適化法と、エントロピー対応の適応的知識蒸留戦略である。 96%の精度で オリジナルのモデルから たったの0.8%の低下です
  論文  参考訳（メタデータ） (2025-11-21T12:32:01Z)
• ARMOR: High-Performance Semi-Structured Pruning via Adaptive Matrix Factorization [99.96330641363396]
  ARMOR: (Adaptive Representation with Matrix-factorization) は、新しい1ショットのポストトレーニングプルーニングアルゴリズムである。 ARMORは重量を直接刈る代わりに、各重量行列を2:4のスパースコアに分解する。 ARMORは、幅広いダウンストリームタスクとパープレキシティ評価において、最先端の2:4プルーニング手法よりも一貫して、はるかに優れています。
  論文  参考訳（メタデータ） (2025-10-07T02:39:20Z)
• CAST: Continuous and Differentiable Semi-Structured Sparsity-Aware Training for Large Language Models [27.682531424487564]
  スパシティアウェアトレーニングは、大きな言語モデルをハードウェアフレンドリーなスパースパターンに変換するための効果的なアプローチである。 スパースモデルのための連続的かつ微分可能なスパース対応トレーニングフレームワークであるContinuous Adaptive Sparse Trainer (CAST)を提案する。 以上の結果から,従来の最先端手法に比べて,トレーニングリソースの最小化による難易度とゼロショット精度の両面で有意な改善が見られた。
  論文  参考訳（メタデータ） (2025-09-30T09:28:47Z)
• Comb, Prune, Distill: Towards Unified Pruning for Vision Model Compression [24.119415458653616]
  我々はモデル非依存とタスク非依存の両方に同時に対処する新しい統一型刈取フレームワークComb, Prune, Distill (CPD)を提案する。 当社のフレームワークは階層的な階層的な依存性問題を解決するための統合的なステップを採用しており、アーキテクチャの独立性を実現しています。 画像分類では、精度が1.8%、セマンティックセグメンテーションがx1.89、mIoUが5.1%のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-08-06T09:02:31Z)
• Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration [100.54419875604721]
  オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。 我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。 我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-02T17:58:49Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• Provable Stochastic Optimization for Global Contrastive Learning: Small Batch Does Not Harm Performance [53.49803579981569]
  各正の対と全ての負の対をアンカーポイントで対比する、コントラスト学習のグローバルな目的を考える。 SimCLRのような既存のメソッドは、十分な結果を得るために大きなバッチサイズを必要とする。 本稿では,SogCLRという表現のグローバルコントラスト学習を解くためのメモリ効率の最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-24T22:16:53Z)
• Robust Binary Models by Pruning Randomly-initialized Networks [57.03100916030444]
  ランダムな二元ネットワークから敵攻撃に対して頑健なモデルを得る方法を提案する。 ランダムな二元ネットワークを切断することにより、ロバストモデルの構造を学習する。 本手法は, 敵攻撃の有無で, 強力な抽選券仮説を立証する。
  論文  参考訳（メタデータ） (2022-02-03T00:05:08Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Automatic Pruning for Quantized Neural Networks [35.2752928147013]
  冗長な低精度フィルタを選択するための効率的なプルーニング手法を提案する。 我々は CIFAR-10 と ImageNet について,様々なアーキテクチャと精度で広範な実験を行った。 ImageNet上のResNet-18では、二元化ニューラルネットワーク量子化によるモデルサイズの26.12%を経験する。
  論文  参考訳（メタデータ） (2020-02-03T01:10:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。