論文の概要: Pruning by Block Benefit: Exploring the Properties of Vision Transformer Blocks during Domain Adaptation

• arxiv url: http://arxiv.org/abs/2506.23675v1
• Date: Mon, 30 Jun 2025 09:58:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:54.004502
• Title: Pruning by Block Benefit: Exploring the Properties of Vision Transformer Blocks during Domain Adaptation
• Title（参考訳）: ブロックベネフィットによるプルーニング:ドメイン適応時の視覚変換器ブロック特性の探索
• Authors: Patrick Glandorf, Bodo Rosenhahn,
• Abstract要約: Pruning by Block Benefit (P3B) は、ブロックレベルの相対的寄与を利用してパラメータリソースをグローバルに割り当てるプルーニング手法である。 P3Bは高い性能を保ちながら、70%のパラメータ還元率を持つ高疎度な状態でも0.64%の精度しか失わない。
• 参考スコア（独自算出の注目度）: 18.23994867489678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformer have set new benchmarks in several tasks, but these models come with the lack of high computational costs which makes them impractical for resource limited hardware. Network pruning reduces the computational complexity by removing less important operations while maintaining performance. However, pruning a model on an unseen data domain, leads to a misevaluation of weight significance, resulting in suboptimal resource assignment. In this work, we find that task-sensitive layers initially fail to improve the feature representation on downstream tasks, leading to performance loss for early pruning decisions. To address this problem, we introduce Pruning by Block Benefit (P3B), a pruning method that utilizes the relative contribution on block level to globally assign parameter resources. P3B identifies low-impact components to reduce parameter allocation while preserving critical ones. Classical pruning mask optimization struggles to reactivate zero-mask-elements. In contrast, P3B sets a layerwise keep ratio based on global performance metrics, ensuring the reactivation of late-converging blocks. We show in extensive experiments that P3B is a state of the art pruning method with most noticeable gains in transfer learning tasks. Notably, P3B is able to conserve high performance, even in high sparsity regimes of 70% parameter reduction while only losing 0.64% in accuracy.
• Abstract（参考訳）: Vision Transformerはいくつかのタスクで新しいベンチマークを設定しているが、これらのモデルには高い計算コストの欠如があり、リソース制限されたハードウェアでは実用的ではない。 ネットワークプルーニングは、性能を維持しながら重要な操作を少なくすることで、計算の複雑さを低減する。 しかし、見当たらないデータドメインでモデルをプルーニングすると、重み付けの重要度が誤って評価され、リソースの割り当てが最適以下になる。 この研究で、タスクに敏感なレイヤは、最初は下流タスクの機能表現の改善に失敗し、早期の刈り取り決定でパフォーマンスが低下することを発見した。 この問題に対処するために,ブロックレベルの相対的寄与を利用してパラメータリソースをグローバルに割り当てるプルーニング手法であるBlock Benefit (P3B)を導入する。 P3Bは、クリティカルな要素を保持しながらパラメータ割り当てを減らすために、低インパクトなコンポーネントを特定する。 古典的なプルーニングマスク最適化は、ゼロマスク要素を再活性化するのに苦労する。 対照的に、P3Bはグローバルなパフォーマンス指標に基づいて階層的に保持比を設定し、遅延収束ブロックの再活性化を保証する。 我々は,P3Bが伝達学習タスクにおいて最も顕著な利得を持つ最先端のプルーニング手法であることを示す。 特に、P3Bは高い性能を保ち、70%のパラメータ還元率を持つ高密度な状態でも0.64%の精度しか失わない。

関連論文リスト

• CFSP: An Efficient Structured Pruning Framework for LLMs with Coarse-to-Fine Activation Information [33.01180010689081]
  CFSPと呼ばれる効率的な構造化プルーニングフレームワークを提案する。 まず、その重要度に基づいて各ブロックに分散予算を割り当て、その後、各ブロックに重要な重みを保持する。 その結果,CFSP は様々な予算にまたがる様々なモデルにおいて,既存の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-09-20T04:03:27Z)
• A deeper look at depth pruning of LLMs [49.30061112976263]
  大規模言語モデル(LLM)は、トレーニングにはリソース集約的だが、本番環境でのデプロイにはよりコストがかかる。 最近の研究は、ブロックの重要性を推定するために、安価なプロキシに基づいてLSMのブロックをプルークしようと試みている。 適応メトリクスはタスク間のパフォーマンスのトレードオフを示すことを示す。
  論文  参考訳（メタデータ） (2024-07-23T08:40:27Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• BESA: Pruning Large Language Models with Blockwise Parameter-Efficient Sparsity Allocation [54.28841287750586]
  大規模言語モデル(LLM)は、テキスト要約、テキスト質問応答など、様々なタスクにおいて優れたパフォーマンスを示してきた。 SparseGPTやWandaといった既存のソリューションは、重み付けによってこの問題を緩和しようと試みている。 本稿では,ブロックワイド再構成損失を適用して,ブロックワイドパラメータ効率の空間割当(BESA)と呼ばれる新しいLCMプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-02-18T12:44:15Z)
• Compressing the Backward Pass of Large-Scale Neural Architectures by Structured Activation Pruning [0.0]
  ディープニューラルネットワーク(DNN)におけるスパシティはソリューションとして注目されている。 この研究は、訓練中のメモリ消費を減らすことを目的として、短命の空間性に焦点を当てている。 大規模ニューラルアーキテクチャのトレーニング速度,精度,メモリ使用量を評価することにより,アクティベーションプルーニングの有効性を報告する。
  論文  参考訳（メタデータ） (2023-11-28T15:31:31Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。