論文の概要: X-Pruner: eXplainable Pruning for Vision Transformers
- arxiv url: http://arxiv.org/abs/2303.04935v1
- Date: Wed, 8 Mar 2023 23:10:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-10 16:50:22.194564
- Title: X-Pruner: eXplainable Pruning for Vision Transformers
- Title(参考訳): x-pruner:視覚トランスフォーマーのための説明可能なpruning
- Authors: Lu Yu, Wei Xiang
- Abstract要約: ビジョントランスモデルは、様々なタスクの顕著なモデルとなっている。
モデルは通常、計算コストの集中に苦しむため、エッジプラットフォームへのデプロイには実用的ではない。
近年の研究では、マグニチュードベース、勾配ベース、マスクベースといった一連の基準で変圧器をプーンする研究が提案されている。
X-Pruner と呼ばれる新しいプルーニングフレームワークを提案し,プルーニング基準の妥当性を考察した。
- 参考スコア(独自算出の注目度): 12.296223124178102
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recently vision transformer models have become prominent models for a range
of tasks. These models, however, usually suffer from intensive computational
costs, making them impractical for deployment on edge platforms. Recent studies
have proposed to prune transformers in a series of criteria, such as
magnitude-based, gradient-based, and mask-based. However, previous works rely
heavily on hand-crafted rules and may involve time-consuming retraining or
searching. As a result, measuring weight importance in an automatic and
efficient way remains an open problem. To solve this problem, we propose a
novel explainable pruning framework dubbed X-Pruner, by considering the
explainability of the pruning criterion. Inspired by the model explanation, we
propose to assign an explainability-aware mask for each prunable unit, which
measures the unit's contribution to predicting every class and is fully
differentiable. Then, to preserve the most informative units, we rank all units
based on the absolute sum of their explainability-aware masks and using this
ranking to prune enough units to meet the target resource constraint. To verify
and evaluate our method, we apply the X-Pruner on representative transformer
models including the DeiT and Swin Transformer. Comprehensive simulation
results demonstrate that the proposed X-Pruner outperforms the state-of-the-art
black-box methods with significantly reduced computational costs and slight
performance degradation.
- Abstract(参考訳): 近年、視覚トランスフォーマーモデルは様々なタスクの顕著なモデルとなっている。
しかし、これらのモデルは通常、集中的な計算コストに苦しめられ、エッジプラットフォームへのデプロイには実用的でない。
近年の研究では、マグニチュードベース、勾配ベース、マスクベースといった一連の基準で変圧器をプーンする研究が提案されている。
しかし、以前の作品では手作りのルールに重きを置き、時間を要するリトレーニングや検索を伴うこともある。
結果として、自動的かつ効率的な方法で重量の重要度を測定することは、未解決の問題である。
そこで本稿では, プルーニング基準の妥当性を考慮し, X-Pruner と呼ばれる新しい説明可能なプルーニングフレームワークを提案する。
モデル説明に着想を得て,各プーナブルユニットに説明可能性を考慮したマスクを割り当て,各クラスの予測に対するユニットの貢献度を計測し,完全に微分可能であることを提案する。
そして、最も有益な単位を保存するために、説明可能なマスクの絶対和に基づいて全ての単位をランク付けし、このランキングを用いて、対象資源制約を満たすのに十分な単位をプルーピングする。
本手法の検証と評価のために,DiT や Swin Transformer などの代表変圧器モデルに X-Pruner を適用した。
総合シミュレーションの結果,提案したX-Prunerは,計算コストを著しく低減し,性能劣化の少ない最先端のブラックボックス法よりも優れていた。
関連論文リスト
- LaCo: Large Language Model Pruning via Layer Collapse [63.973142426228016]
トランスフォーマーに基づく大規模言語モデル(LLM)は、サイズ拡大の顕著な傾向を目撃している。
後部モデル層が先行層に崩壊する,textitLayer Collapse (LaCo) と呼ばれる簡潔な層分割法を提案する。
実験の結果,25~30%の刈り取り率で平均タスク性能が80%以上維持されていることがわかった。
論文 参考訳(メタデータ) (2024-02-17T04:16:30Z) - ExpPoint-MAE: Better interpretability and performance for
self-supervised point cloud transformers [9.881466104115352]
マスク付き自動符号化の有効性を事前学習方式として評価し,代替手段としてMomentum Contrastを探索する。
我々は,トランスフォーマーが意味論的に意味のある領域への参加を学ぶことを観察し,事前学習が基礎となる幾何学の理解を深めることを示す。
論文 参考訳(メタデータ) (2023-06-19T09:38:21Z) - Dynamic Context Pruning for Efficient and Interpretable Autoregressive
Transformers [18.963110713461045]
本稿では,モデル表現性を保ちながら文脈情報を動的に生成する手法を提案する。
本手法では,文脈からどの非形式的トークンをドロップできるかを学習可能なメカニズムを用いて決定する。
我々の参照実装は、推論スループットの増大とメモリの節約を最大2ドルまで達成します。
論文 参考訳(メタデータ) (2023-05-25T07:39:41Z) - VCNet: A self-explaining model for realistic counterfactual generation [52.77024349608834]
事実的説明は、機械学習の決定を局所的に説明するための手法のクラスである。
本稿では,予測器と対実生成器を組み合わせたモデルアーキテクチャであるVCNet-Variational Counter Netを提案する。
我々はVCNetが予測を生成でき、また、別の最小化問題を解くことなく、反現実的な説明を生成できることを示した。
論文 参考訳(メタデータ) (2022-12-21T08:45:32Z) - Interpretations Steered Network Pruning via Amortized Inferred Saliency
Maps [85.49020931411825]
限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。
本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。
本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
論文 参考訳(メタデータ) (2022-09-07T01:12:11Z) - PLATON: Pruning Large Transformer Models with Upper Confidence Bound of
Weight Importance [114.1541203743303]
本稿では,重要度推定の上位信頼度境界(UCB)による重要度スコアの不確かさを捉えるPLATONを提案する。
我々は、自然言語理解、質問応答、画像分類に関するトランスフォーマーモデルを用いて、広範囲にわたる実験を行った。
論文 参考訳(メタデータ) (2022-06-25T05:38:39Z) - BayesFormer: Transformer with Uncertainty Estimation [31.206243748162553]
ベイズ理論によって設計されたドロップアウトを持つトランスフォーマーモデルBayesFormerを紹介する。
我々は,言語モデリングと分類,長文理解,機械翻訳,能動的学習のための獲得機能など,ボード全体の改良点を示す。
論文 参考訳(メタデータ) (2022-06-02T01:54:58Z) - Sparse Progressive Distillation: Resolving Overfitting under
Pretrain-and-Finetune Paradigm [7.662952656290564]
トランスフォーマーベースの言語モデルのフットプリント要求を減らすために、様々なプルーニング手法が提案されている。
オーバーフィッティングのリスクを減らすことが,プレトレイン・アンド・ファインチューンパラダイムの下での刈り込みの有効性を初めて示す。
論文 参考訳(メタデータ) (2021-10-15T16:42:56Z) - IA-RED$^2$: Interpretability-Aware Redundancy Reduction for Vision
Transformers [81.31885548824926]
自己注意型モデルであるTransformerは近年,コンピュータビジョン分野における主要なバックボーンになりつつある。
解釈可能性を考慮した冗長度低減フレームワーク(IA-RED$2$)を提案する。
画像タスクとビデオタスクの両方で広範囲に実験を行い、最大1.4倍のスピードアップを実現しました。
論文 参考訳(メタデータ) (2021-06-23T18:29:23Z) - Efficient pre-training objectives for Transformers [84.64393460397471]
本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。
マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
論文 参考訳(メタデータ) (2021-04-20T00:09:37Z) - A Modified Perturbed Sampling Method for Local Interpretable
Model-agnostic Explanation [35.281127405430674]
LIME(Local Interpretable Model-Agnostic Explanation)は、任意の分類器の予測を忠実に説明する手法である。
本稿では,LIME (MPS-LIME) のための改良型摂動サンプリング操作を提案する。
画像分類において、MPS-LIMEはスーパーピクセル画像を非方向グラフに変換する。
論文 参考訳(メタデータ) (2020-02-18T09:03:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。