論文の概要: Pruning by Block Benefit: Exploring the Properties of Vision Transformer Blocks during Domain Adaptation

• arxiv url: http://arxiv.org/abs/2506.23675v1
• Date: Mon, 30 Jun 2025 09:58:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:54.004502
• Title: Pruning by Block Benefit: Exploring the Properties of Vision Transformer Blocks during Domain Adaptation
• Title（参考訳）: ブロックベネフィットによるプルーニング:ドメイン適応時の視覚変換器ブロック特性の探索
• Authors: Patrick Glandorf, Bodo Rosenhahn,
• Abstract要約: Pruning by Block Benefit (P3B) は、ブロックレベルの相対的寄与を利用してパラメータリソースをグローバルに割り当てるプルーニング手法である。 P3Bは高い性能を保ちながら、70%のパラメータ還元率を持つ高疎度な状態でも0.64%の精度しか失わない。
• 参考スコア（独自算出の注目度）: 18.23994867489678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformer have set new benchmarks in several tasks, but these models come with the lack of high computational costs which makes them impractical for resource limited hardware. Network pruning reduces the computational complexity by removing less important operations while maintaining performance. However, pruning a model on an unseen data domain, leads to a misevaluation of weight significance, resulting in suboptimal resource assignment. In this work, we find that task-sensitive layers initially fail to improve the feature representation on downstream tasks, leading to performance loss for early pruning decisions. To address this problem, we introduce Pruning by Block Benefit (P3B), a pruning method that utilizes the relative contribution on block level to globally assign parameter resources. P3B identifies low-impact components to reduce parameter allocation while preserving critical ones. Classical pruning mask optimization struggles to reactivate zero-mask-elements. In contrast, P3B sets a layerwise keep ratio based on global performance metrics, ensuring the reactivation of late-converging blocks. We show in extensive experiments that P3B is a state of the art pruning method with most noticeable gains in transfer learning tasks. Notably, P3B is able to conserve high performance, even in high sparsity regimes of 70% parameter reduction while only losing 0.64% in accuracy.
• Abstract（参考訳）: Vision Transformerはいくつかのタスクで新しいベンチマークを設定しているが、これらのモデルには高い計算コストの欠如があり、リソース制限されたハードウェアでは実用的ではない。 ネットワークプルーニングは、性能を維持しながら重要な操作を少なくすることで、計算の複雑さを低減する。 しかし、見当たらないデータドメインでモデルをプルーニングすると、重み付けの重要度が誤って評価され、リソースの割り当てが最適以下になる。 この研究で、タスクに敏感なレイヤは、最初は下流タスクの機能表現の改善に失敗し、早期の刈り取り決定でパフォーマンスが低下することを発見した。 この問題に対処するために,ブロックレベルの相対的寄与を利用してパラメータリソースをグローバルに割り当てるプルーニング手法であるBlock Benefit (P3B)を導入する。 P3Bは、クリティカルな要素を保持しながらパラメータ割り当てを減らすために、低インパクトなコンポーネントを特定する。 古典的なプルーニングマスク最適化は、ゼロマスク要素を再活性化するのに苦労する。 対照的に、P3Bはグローバルなパフォーマンス指標に基づいて階層的に保持比を設定し、遅延収束ブロックの再活性化を保証する。 我々は,P3Bが伝達学習タスクにおいて最も顕著な利得を持つ最先端のプルーニング手法であることを示す。 特に、P3Bは高い性能を保ち、70%のパラメータ還元率を持つ高密度な状態でも0.64%の精度しか失わない。

関連論文リスト

• Flexible Automatic Identification and Removal (FAIR)-Pruner: An Efficient Neural Network Pruning Method [11.575879702610914]
  本稿では、ニューラルネットワーク構造化プルーニングの新しい手法であるフレキシブル自動識別除去(FAIR-Pruner)を提案する。 FAIR-Prunerの大きな利点は、レイヤーワイドプルーニング率を自動的に決定する能力にある。 利用スコアと復元誤差により、ユーザーは異なるプルーニング比率でプルーニングされたモデルを柔軟に取得できる。
  論文  参考訳（メタデータ） (2025-08-04T10:59:07Z)
• High-Layer Attention Pruning with Rescaling [14.141903038286362]
  プルーニングは大規模言語モデル(LLM)の圧縮に非常に効果的な手法である 本稿では,モデル上層における注意を戦略的に喚起する新しいプルーニングアルゴリズムを提案する。 我々は, LLaMA3.1-8B, Mistral-7B-v0.3, Qwen2-7B, Gemma2-9Bを含む広範囲のLLMについて総合的な実験を行った。
  論文  参考訳（メタデータ） (2025-07-02T17:15:05Z)
• FlexiGPT: Pruning and Extending Large Language Models with Low-Rank Weight Sharing [59.12511498024836]
  本稿では,重み付けスコアに基づいてモデルブロックを選択的にプルーする大規模言語モデル(LLM)をプルーする手法を提案する。 重み共有機構を用いて各刈り込みブロックを置換する原理的計量を提案する。 経験的評価は、既存の方法よりも大幅にパフォーマンスが向上したことを示している。
  論文  参考訳（メタデータ） (2025-01-24T18:46:37Z)
• OP-LoRA: The Blessing of Dimensionality [93.08208871549557]
  低ランクアダプタは、少数のパラメータしか持たない大型モデルの微調整を可能にする。 しばしば最適化の課題を提起するが、収束性は低い。 推論コストを増大させることなく、トレーニングを加速する過剰パラメータ化アプローチを導入する。 視覚言語タスクの改善、特に画像生成の顕著な向上を実現している。
  論文  参考訳（メタデータ） (2024-12-13T18:55:19Z)
• CFSP: An Efficient Structured Pruning Framework for LLMs with Coarse-to-Fine Activation Information [33.01180010689081]
  CFSPと呼ばれる効率的な構造化プルーニングフレームワークを提案する。 まず、その重要度に基づいて各ブロックに分散予算を割り当て、その後、各ブロックに重要な重みを保持する。 その結果,CFSP は様々な予算にまたがる様々なモデルにおいて,既存の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-09-20T04:03:27Z)
• A deeper look at depth pruning of LLMs [49.30061112976263]
  大規模言語モデル(LLM)は、トレーニングにはリソース集約的だが、本番環境でのデプロイにはよりコストがかかる。 最近の研究は、ブロックの重要性を推定するために、安価なプロキシに基づいてLSMのブロックをプルークしようと試みている。 適応メトリクスはタスク間のパフォーマンスのトレードオフを示すことを示す。
  論文  参考訳（メタデータ） (2024-07-23T08:40:27Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• BESA: Pruning Large Language Models with Blockwise Parameter-Efficient Sparsity Allocation [54.28841287750586]
  大規模言語モデル(LLM)は、テキスト要約、テキスト質問応答など、様々なタスクにおいて優れたパフォーマンスを示してきた。 SparseGPTやWandaといった既存のソリューションは、重み付けによってこの問題を緩和しようと試みている。 本稿では,ブロックワイド再構成損失を適用して,ブロックワイドパラメータ効率の空間割当(BESA)と呼ばれる新しいLCMプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-02-18T12:44:15Z)
• Compressing the Backward Pass of Large-Scale Neural Architectures by Structured Activation Pruning [0.0]
  ディープニューラルネットワーク(DNN)におけるスパシティはソリューションとして注目されている。 この研究は、訓練中のメモリ消費を減らすことを目的として、短命の空間性に焦点を当てている。 大規模ニューラルアーキテクチャのトレーニング速度,精度,メモリ使用量を評価することにより,アクティベーションプルーニングの有効性を報告する。
  論文  参考訳（メタデータ） (2023-11-28T15:31:31Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。