論文の概要: X-Pruner: eXplainable Pruning for Vision Transformers
- arxiv url: http://arxiv.org/abs/2303.04935v2
- Date: Mon, 5 Jun 2023 04:33:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 02:39:59.938956
- Title: X-Pruner: eXplainable Pruning for Vision Transformers
- Title(参考訳): x-pruner:視覚トランスフォーマーのための説明可能なpruning
- Authors: Lu Yu, Wei Xiang
- Abstract要約: ビジョントランスモデルは通常、計算コストと重いメモリ要求に悩まされる。
近年の研究では、モデルの内部単位と対象クラスとの関係を概観する、説明不能な方法で変圧器をプーンする手法が提案されている。
X-Prunerと呼ばれる新しい説明可能なプルーニングフレームワークを提案し、プルーニング基準の説明可能性を考慮して設計する。
- 参考スコア(独自算出の注目度): 12.296223124178102
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recently vision transformer models have become prominent models for a range
of tasks. These models, however, usually suffer from intensive computational
costs and heavy memory requirements, making them impractical for deployment on
edge platforms. Recent studies have proposed to prune transformers in an
unexplainable manner, which overlook the relationship between internal units of
the model and the target class, thereby leading to inferior performance. To
alleviate this problem, we propose a novel explainable pruning framework dubbed
X-Pruner, which is designed by considering the explainability of the pruning
criterion. Specifically, to measure each prunable unit's contribution to
predicting each target class, a novel explainability-aware mask is proposed and
learned in an end-to-end manner. Then, to preserve the most informative units
and learn the layer-wise pruning rate, we adaptively search the layer-wise
threshold that differentiates between unpruned and pruned units based on their
explainability-aware mask values. To verify and evaluate our method, we apply
the X-Pruner on representative transformer models including the DeiT and Swin
Transformer. Comprehensive simulation results demonstrate that the proposed
X-Pruner outperforms the state-of-the-art black-box methods with significantly
reduced computational costs and slight performance degradation.
- Abstract(参考訳): 近年、視覚トランスフォーマーモデルは様々なタスクの顕著なモデルとなっている。
しかし、これらのモデルは通常、集中的な計算コストと重いメモリ要求に苦しめられ、エッジプラットフォームへのデプロイには実用的でない。
近年の研究では、モデルの内部ユニットと対象クラスとの関係を見落とし、性能を低下させる、説明不能な方法で変圧器をプルーピングすることを提案している。
この問題を軽減するために, プルーニング基準の妥当性を考慮し, X-Prunerと呼ばれる新しい説明可能なプルーニングフレームワークを提案する。
具体的には,各照準器の目標クラス予測への寄与を測定するために,新しい説明可能性を考慮したマスクを提案し,エンドツーエンドで学習する。
そして、最も情報性の高い単位を保存し、レイヤーワイズプルーニング率を学習するために、説明可能性を考慮したマスク値に基づいて、未切断単位とプルーニング単位を区別する階層ワイズ閾値を適応的に探索する。
本手法の検証と評価のために,DiT や Swin Transformer などの代表変圧器モデルに X-Pruner を適用した。
総合シミュレーションの結果,提案したX-Prunerは,計算コストを著しく低減し,性能劣化の少ない最先端のブラックボックス法よりも優れていた。
関連論文リスト
- LaCo: Large Language Model Pruning via Layer Collapse [63.973142426228016]
トランスフォーマーに基づく大規模言語モデル(LLM)は、サイズ拡大の顕著な傾向を目撃している。
後部モデル層が先行層に崩壊する,textitLayer Collapse (LaCo) と呼ばれる簡潔な層分割法を提案する。
実験の結果,25~30%の刈り取り率で平均タスク性能が80%以上維持されていることがわかった。
論文 参考訳(メタデータ) (2024-02-17T04:16:30Z) - ExpPoint-MAE: Better interpretability and performance for
self-supervised point cloud transformers [9.881466104115352]
マスク付き自動符号化の有効性を事前学習方式として評価し,代替手段としてMomentum Contrastを探索する。
我々は,トランスフォーマーが意味論的に意味のある領域への参加を学ぶことを観察し,事前学習が基礎となる幾何学の理解を深めることを示す。
論文 参考訳(メタデータ) (2023-06-19T09:38:21Z) - Dynamic Context Pruning for Efficient and Interpretable Autoregressive
Transformers [18.963110713461045]
本稿では,モデル表現性を保ちながら文脈情報を動的に生成する手法を提案する。
本手法では,文脈からどの非形式的トークンをドロップできるかを学習可能なメカニズムを用いて決定する。
我々の参照実装は、推論スループットの増大とメモリの節約を最大2ドルまで達成します。
論文 参考訳(メタデータ) (2023-05-25T07:39:41Z) - VCNet: A self-explaining model for realistic counterfactual generation [52.77024349608834]
事実的説明は、機械学習の決定を局所的に説明するための手法のクラスである。
本稿では,予測器と対実生成器を組み合わせたモデルアーキテクチャであるVCNet-Variational Counter Netを提案する。
我々はVCNetが予測を生成でき、また、別の最小化問題を解くことなく、反現実的な説明を生成できることを示した。
論文 参考訳(メタデータ) (2022-12-21T08:45:32Z) - Interpretations Steered Network Pruning via Amortized Inferred Saliency
Maps [85.49020931411825]
限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。
本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。
本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
論文 参考訳(メタデータ) (2022-09-07T01:12:11Z) - PLATON: Pruning Large Transformer Models with Upper Confidence Bound of
Weight Importance [114.1541203743303]
本稿では,重要度推定の上位信頼度境界(UCB)による重要度スコアの不確かさを捉えるPLATONを提案する。
我々は、自然言語理解、質問応答、画像分類に関するトランスフォーマーモデルを用いて、広範囲にわたる実験を行った。
論文 参考訳(メタデータ) (2022-06-25T05:38:39Z) - BayesFormer: Transformer with Uncertainty Estimation [31.206243748162553]
ベイズ理論によって設計されたドロップアウトを持つトランスフォーマーモデルBayesFormerを紹介する。
我々は,言語モデリングと分類,長文理解,機械翻訳,能動的学習のための獲得機能など,ボード全体の改良点を示す。
論文 参考訳(メタデータ) (2022-06-02T01:54:58Z) - Sparse Progressive Distillation: Resolving Overfitting under
Pretrain-and-Finetune Paradigm [7.662952656290564]
トランスフォーマーベースの言語モデルのフットプリント要求を減らすために、様々なプルーニング手法が提案されている。
オーバーフィッティングのリスクを減らすことが,プレトレイン・アンド・ファインチューンパラダイムの下での刈り込みの有効性を初めて示す。
論文 参考訳(メタデータ) (2021-10-15T16:42:56Z) - IA-RED$^2$: Interpretability-Aware Redundancy Reduction for Vision
Transformers [81.31885548824926]
自己注意型モデルであるTransformerは近年,コンピュータビジョン分野における主要なバックボーンになりつつある。
解釈可能性を考慮した冗長度低減フレームワーク(IA-RED$2$)を提案する。
画像タスクとビデオタスクの両方で広範囲に実験を行い、最大1.4倍のスピードアップを実現しました。
論文 参考訳(メタデータ) (2021-06-23T18:29:23Z) - Efficient pre-training objectives for Transformers [84.64393460397471]
本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。
マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
論文 参考訳(メタデータ) (2021-04-20T00:09:37Z) - A Modified Perturbed Sampling Method for Local Interpretable
Model-agnostic Explanation [35.281127405430674]
LIME(Local Interpretable Model-Agnostic Explanation)は、任意の分類器の予測を忠実に説明する手法である。
本稿では,LIME (MPS-LIME) のための改良型摂動サンプリング操作を提案する。
画像分類において、MPS-LIMEはスーパーピクセル画像を非方向グラフに変換する。
論文 参考訳(メタデータ) (2020-02-18T09:03:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。