論文の概要: X-Pruner: eXplainable Pruning for Vision Transformers

• arxiv url: http://arxiv.org/abs/2303.04935v1
• Date: Wed, 8 Mar 2023 23:10:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 16:50:22.194564
• Title: X-Pruner: eXplainable Pruning for Vision Transformers
• Title（参考訳）: x-pruner:視覚トランスフォーマーのための説明可能なpruning
• Authors: Lu Yu, Wei Xiang
• Abstract要約: ビジョントランスモデルは、様々なタスクの顕著なモデルとなっている。 モデルは通常、計算コストの集中に苦しむため、エッジプラットフォームへのデプロイには実用的ではない。 近年の研究では、マグニチュードベース、勾配ベース、マスクベースといった一連の基準で変圧器をプーンする研究が提案されている。 X-Pruner と呼ばれる新しいプルーニングフレームワークを提案し,プルーニング基準の妥当性を考察した。
• 参考スコア（独自算出の注目度）: 12.296223124178102
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recently vision transformer models have become prominent models for a range of tasks. These models, however, usually suffer from intensive computational costs, making them impractical for deployment on edge platforms. Recent studies have proposed to prune transformers in a series of criteria, such as magnitude-based, gradient-based, and mask-based. However, previous works rely heavily on hand-crafted rules and may involve time-consuming retraining or searching. As a result, measuring weight importance in an automatic and efficient way remains an open problem. To solve this problem, we propose a novel explainable pruning framework dubbed X-Pruner, by considering the explainability of the pruning criterion. Inspired by the model explanation, we propose to assign an explainability-aware mask for each prunable unit, which measures the unit's contribution to predicting every class and is fully differentiable. Then, to preserve the most informative units, we rank all units based on the absolute sum of their explainability-aware masks and using this ranking to prune enough units to meet the target resource constraint. To verify and evaluate our method, we apply the X-Pruner on representative transformer models including the DeiT and Swin Transformer. Comprehensive simulation results demonstrate that the proposed X-Pruner outperforms the state-of-the-art black-box methods with significantly reduced computational costs and slight performance degradation.
• Abstract（参考訳）: 近年、視覚トランスフォーマーモデルは様々なタスクの顕著なモデルとなっている。 しかし、これらのモデルは通常、集中的な計算コストに苦しめられ、エッジプラットフォームへのデプロイには実用的でない。 近年の研究では、マグニチュードベース、勾配ベース、マスクベースといった一連の基準で変圧器をプーンする研究が提案されている。 しかし、以前の作品では手作りのルールに重きを置き、時間を要するリトレーニングや検索を伴うこともある。 結果として、自動的かつ効率的な方法で重量の重要度を測定することは、未解決の問題である。 そこで本稿では, プルーニング基準の妥当性を考慮し, X-Pruner と呼ばれる新しい説明可能なプルーニングフレームワークを提案する。 モデル説明に着想を得て,各プーナブルユニットに説明可能性を考慮したマスクを割り当て,各クラスの予測に対するユニットの貢献度を計測し,完全に微分可能であることを提案する。 そして、最も有益な単位を保存するために、説明可能なマスクの絶対和に基づいて全ての単位をランク付けし、このランキングを用いて、対象資源制約を満たすのに十分な単位をプルーピングする。 本手法の検証と評価のために,DiT や Swin Transformer などの代表変圧器モデルに X-Pruner を適用した。 総合シミュレーションの結果,提案したX-Prunerは,計算コストを著しく低減し,性能劣化の少ない最先端のブラックボックス法よりも優れていた。

関連論文リスト

• Convexity-based Pruning of Speech Representation Models [1.3873323883842132]
  最近の研究によると、NLPのトランスモデルには大きな冗長性があることが示されている。 本稿では,音声モデルにおけるレイヤプルーニングについて検討する。 計算の労力が大幅に削減され、性能が損なわれず、場合によっては改善されることもない。
  論文  参考訳（メタデータ） (2024-08-16T09:04:54Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• ExpPoint-MAE: Better interpretability and performance for self-supervised point cloud transformers [7.725095281624494]
  マスク付き自動符号化の有効性を事前学習方式として評価し,代替手段としてMomentum Contrastを探索する。 我々は,トランスフォーマーが意味論的に意味のある領域への参加を学ぶことを観察し,事前学習が基礎となる幾何学の理解を深めることを示す。
  論文  参考訳（メタデータ） (2023-06-19T09:38:21Z)
• Dynamic Context Pruning for Efficient and Interpretable Autoregressive Transformers [29.319666323947708]
  本稿では,モデル表現性を保ちながら文脈情報を動的に生成する手法を提案する。 本手法では,文脈からどの非形式的トークンをドロップできるかを学習可能なメカニズムを用いて決定する。 我々の参照実装は、推論スループットの増大とメモリの節約を最大2ドルまで達成します。
  論文  参考訳（メタデータ） (2023-05-25T07:39:41Z)
• VCNet: A self-explaining model for realistic counterfactual generation [52.77024349608834]
  事実的説明は、機械学習の決定を局所的に説明するための手法のクラスである。 本稿では,予測器と対実生成器を組み合わせたモデルアーキテクチャであるVCNet-Variational Counter Netを提案する。 我々はVCNetが予測を生成でき、また、別の最小化問題を解くことなく、反現実的な説明を生成できることを示した。
  論文  参考訳（メタデータ） (2022-12-21T08:45:32Z)
• Interpretations Steered Network Pruning via Amortized Inferred Saliency Maps [85.49020931411825]
  限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。 本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。 本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-07T01:12:11Z)
• PLATON: Pruning Large Transformer Models with Upper Confidence Bound of Weight Importance [114.1541203743303]
  本稿では,重要度推定の上位信頼度境界(UCB)による重要度スコアの不確かさを捉えるPLATONを提案する。 我々は、自然言語理解、質問応答、画像分類に関するトランスフォーマーモデルを用いて、広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2022-06-25T05:38:39Z)
• IA-RED$^2$: Interpretability-Aware Redundancy Reduction for Vision Transformers [81.31885548824926]
  自己注意型モデルであるTransformerは近年,コンピュータビジョン分野における主要なバックボーンになりつつある。 解釈可能性を考慮した冗長度低減フレームワーク(IA-RED$2$)を提案する。 画像タスクとビデオタスクの両方で広範囲に実験を行い、最大1.4倍のスピードアップを実現しました。
  論文  参考訳（メタデータ） (2021-06-23T18:29:23Z)
• A Modified Perturbed Sampling Method for Local Interpretable Model-agnostic Explanation [35.281127405430674]
  LIME(Local Interpretable Model-Agnostic Explanation)は、任意の分類器の予測を忠実に説明する手法である。 本稿では,LIME (MPS-LIME) のための改良型摂動サンプリング操作を提案する。 画像分類において、MPS-LIMEはスーパーピクセル画像を非方向グラフに変換する。
  論文  参考訳（メタデータ） (2020-02-18T09:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。