論文の概要: X-Pruner: eXplainable Pruning for Vision Transformers

• arxiv url: http://arxiv.org/abs/2303.04935v2
• Date: Mon, 5 Jun 2023 04:33:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 02:39:59.938956
• Title: X-Pruner: eXplainable Pruning for Vision Transformers
• Title（参考訳）: x-pruner:視覚トランスフォーマーのための説明可能なpruning
• Authors: Lu Yu, Wei Xiang
• Abstract要約: ビジョントランスモデルは通常、計算コストと重いメモリ要求に悩まされる。 近年の研究では、モデルの内部単位と対象クラスとの関係を概観する、説明不能な方法で変圧器をプーンする手法が提案されている。 X-Prunerと呼ばれる新しい説明可能なプルーニングフレームワークを提案し、プルーニング基準の説明可能性を考慮して設計する。
• 参考スコア（独自算出の注目度）: 12.296223124178102
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recently vision transformer models have become prominent models for a range of tasks. These models, however, usually suffer from intensive computational costs and heavy memory requirements, making them impractical for deployment on edge platforms. Recent studies have proposed to prune transformers in an unexplainable manner, which overlook the relationship between internal units of the model and the target class, thereby leading to inferior performance. To alleviate this problem, we propose a novel explainable pruning framework dubbed X-Pruner, which is designed by considering the explainability of the pruning criterion. Specifically, to measure each prunable unit's contribution to predicting each target class, a novel explainability-aware mask is proposed and learned in an end-to-end manner. Then, to preserve the most informative units and learn the layer-wise pruning rate, we adaptively search the layer-wise threshold that differentiates between unpruned and pruned units based on their explainability-aware mask values. To verify and evaluate our method, we apply the X-Pruner on representative transformer models including the DeiT and Swin Transformer. Comprehensive simulation results demonstrate that the proposed X-Pruner outperforms the state-of-the-art black-box methods with significantly reduced computational costs and slight performance degradation.
• Abstract（参考訳）: 近年、視覚トランスフォーマーモデルは様々なタスクの顕著なモデルとなっている。 しかし、これらのモデルは通常、集中的な計算コストと重いメモリ要求に苦しめられ、エッジプラットフォームへのデプロイには実用的でない。 近年の研究では、モデルの内部ユニットと対象クラスとの関係を見落とし、性能を低下させる、説明不能な方法で変圧器をプルーピングすることを提案している。 この問題を軽減するために, プルーニング基準の妥当性を考慮し, X-Prunerと呼ばれる新しい説明可能なプルーニングフレームワークを提案する。 具体的には,各照準器の目標クラス予測への寄与を測定するために,新しい説明可能性を考慮したマスクを提案し,エンドツーエンドで学習する。 そして、最も情報性の高い単位を保存し、レイヤーワイズプルーニング率を学習するために、説明可能性を考慮したマスク値に基づいて、未切断単位とプルーニング単位を区別する階層ワイズ閾値を適応的に探索する。 本手法の検証と評価のために,DiT や Swin Transformer などの代表変圧器モデルに X-Pruner を適用した。 総合シミュレーションの結果,提案したX-Prunerは,計算コストを著しく低減し,性能劣化の少ない最先端のブラックボックス法よりも優れていた。

関連論文リスト

• Convexity-based Pruning of Speech Representation Models [1.3873323883842132]
  最近の研究によると、NLPのトランスモデルには大きな冗長性があることが示されている。 本稿では,音声モデルにおけるレイヤプルーニングについて検討する。 計算の労力が大幅に削減され、性能が損なわれず、場合によっては改善されることもない。
  論文  参考訳（メタデータ） (2024-08-16T09:04:54Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• ExpPoint-MAE: Better interpretability and performance for self-supervised point cloud transformers [7.725095281624494]
  マスク付き自動符号化の有効性を事前学習方式として評価し,代替手段としてMomentum Contrastを探索する。 我々は,トランスフォーマーが意味論的に意味のある領域への参加を学ぶことを観察し,事前学習が基礎となる幾何学の理解を深めることを示す。
  論文  参考訳（メタデータ） (2023-06-19T09:38:21Z)
• Dynamic Context Pruning for Efficient and Interpretable Autoregressive Transformers [29.319666323947708]
  本稿では,モデル表現性を保ちながら文脈情報を動的に生成する手法を提案する。 本手法では,文脈からどの非形式的トークンをドロップできるかを学習可能なメカニズムを用いて決定する。 我々の参照実装は、推論スループットの増大とメモリの節約を最大2ドルまで達成します。
  論文  参考訳（メタデータ） (2023-05-25T07:39:41Z)
• VCNet: A self-explaining model for realistic counterfactual generation [52.77024349608834]
  事実的説明は、機械学習の決定を局所的に説明するための手法のクラスである。 本稿では,予測器と対実生成器を組み合わせたモデルアーキテクチャであるVCNet-Variational Counter Netを提案する。 我々はVCNetが予測を生成でき、また、別の最小化問題を解くことなく、反現実的な説明を生成できることを示した。
  論文  参考訳（メタデータ） (2022-12-21T08:45:32Z)
• Interpretations Steered Network Pruning via Amortized Inferred Saliency Maps [85.49020931411825]
  限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。 本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。 本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-07T01:12:11Z)
• PLATON: Pruning Large Transformer Models with Upper Confidence Bound of Weight Importance [114.1541203743303]
  本稿では,重要度推定の上位信頼度境界(UCB)による重要度スコアの不確かさを捉えるPLATONを提案する。 我々は、自然言語理解、質問応答、画像分類に関するトランスフォーマーモデルを用いて、広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2022-06-25T05:38:39Z)
• IA-RED$^2$: Interpretability-Aware Redundancy Reduction for Vision Transformers [81.31885548824926]
  自己注意型モデルであるTransformerは近年,コンピュータビジョン分野における主要なバックボーンになりつつある。 解釈可能性を考慮した冗長度低減フレームワーク(IA-RED$2$)を提案する。 画像タスクとビデオタスクの両方で広範囲に実験を行い、最大1.4倍のスピードアップを実現しました。
  論文  参考訳（メタデータ） (2021-06-23T18:29:23Z)
• A Modified Perturbed Sampling Method for Local Interpretable Model-agnostic Explanation [35.281127405430674]
  LIME(Local Interpretable Model-Agnostic Explanation)は、任意の分類器の予測を忠実に説明する手法である。 本稿では,LIME (MPS-LIME) のための改良型摂動サンプリング操作を提案する。 画像分類において、MPS-LIMEはスーパーピクセル画像を非方向グラフに変換する。
  論文  参考訳（メタデータ） (2020-02-18T09:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。