論文の概要: Class-Discriminative Attention Maps for Vision Transformers
- arxiv url: http://arxiv.org/abs/2312.02364v1
- Date: Mon, 4 Dec 2023 21:46:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 17:25:28.320899
- Title: Class-Discriminative Attention Maps for Vision Transformers
- Title（参考訳）: 視覚変換器のクラス識別アテンションマップ
- Authors: Lennart Brocki and Neo Christopher Chung
- Abstract要約: ディープニューラルネットワーク(DNN)の調査と探索のための解釈可能性手法
クラス識別アテンションマップ(CDAM)を紹介する。
CDAMは類別的かつ意味論的に高い関連性を持ち、関連スコアの暗黙の正規化を提供する。
- 参考スコア（独自算出の注目度）: 5.439020425819001
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interpretability methods are critical components for examining and exploring
deep neural networks (DNN), as well as increasing our understanding of and
trust in them. Vision transformers (ViT), which can be trained to
state-of-the-art performance with a self-supervised learning (SSL) training
method, provide built-in attention maps (AM). While AMs can provide
high-quality semantic segmentation of input images, they do not account for any
signal coming from a downstream classifier. We introduce class-discriminative
attention maps (CDAM), a novel post-hoc explanation method that is highly
sensitive to the target class. Our method essentially scales attention scores
by how relevant the corresponding tokens are for the predictions of a
classifier head. Alternative to classifier outputs, CDAM can also explain a
user-defined concept by targeting similarity measures in the latent space of
the ViT. This allows for explanations of arbitrary concepts, defined by the
user through a few sample images. We investigate the operating characteristics
of CDAM in comparison with relevance propagation (RP) and token ablation maps
(TAM), an alternative to pixel occlusion methods. CDAM is highly
class-discriminative and semantically relevant, while providing implicit
regularization of relevance scores.
PyTorch implementation: \url{https://github.com/lenbrocki/CDAM}
Web live demo: \url{https://cdam.informatism.com/}
- Abstract（参考訳）: 解釈可能性法は、深層ニューラルネットワーク(dnn)を検査し、探索する上で重要な要素であり、それに対する我々の理解と信頼を高める。
ビジョントランスフォーマー(ViT)は、自己教師付き学習(SSL)トレーニング手法で最先端のパフォーマンスをトレーニングし、組み込みの注意マップ(AM)を提供する。
AMは入力画像の高品質なセマンティックセグメンテーションを提供するが、下流の分類器からの信号は考慮しない。
対象クラスに対して高度に敏感な新しいポストホックな説明法であるクラス判別注意マップ(cdam)を提案する。
本手法は,分類器ヘッドの予測に対応するトークンがどの程度関連があるかによって,注意スコアを本質的にスケールする。
分類器出力の代わりに、CDAMはViTの潜在空間における類似度を目標にすることで、ユーザ定義の概念を説明することもできる。
これにより、ユーザがいくつかのサンプルイメージを通じて定義した任意の概念の説明が可能になる。
我々は,CDAMの動作特性を,画素閉塞法に代わるRelevance propagation (RP) やトークンアブレーションマップ (TAM) と比較した。
CDAMは類別的かつ意味論的に高い関連性を持ち、関連スコアの暗黙の正規化を提供する。
PyTorchの実装: \url{https://github.com/lenbrocki/CDAM} Web Live demo: \url{https://cdam.informatism.com/}
関連論文リスト
- Characterizing the Interpretability of Attention Maps in Digital Pathology [0.0]
本稿では,デジタル病理学において,注意ネットワークが関連する機能に対応する能力を評価する枠組みを提案する。
人工モデルの共同設立者を作り、専用の解釈可能性メトリクスを使用します。
以上の結果から,AMMILモデルがフレームワーク内で期待どおりに動作していることが示唆された。
論文 参考訳（メタデータ） (2024-07-02T17:58:58Z) - Learning disentangled representations for explainable chest X-ray
classification using Dirichlet VAEs [68.73427163074015]
本研究では,胸部X線像の非絡み合った潜在表現の学習にDirVAE(Dirichlet Variational Autoencoder)を用いることを検討した。
DirVAEモデルにより学習された多モード潜在表現の予測能力について,補助的多ラベル分類タスクの実装により検討した。
論文 参考訳（メタデータ） (2023-02-06T18:10:08Z) - Interpretable Diabetic Retinopathy Diagnosis based on Biomarker
Activation Map [2.6170980960630037]
生成的対角学習に基づく新しいバイオマーカー活性化マップ(BAM)フレームワークを提案する。
456個の黄斑スキャンを含むデータセットを、現在の臨床基準に基づいて非参照型または参照型DRとして評価した。
生成したBAMは非灌流領域や網膜液を含む既知の病態の特徴を強調した。
論文 参考訳（メタデータ） (2022-12-13T00:45:46Z) - CAMANet: Class Activation Map Guided Attention Network for Radiology
Report Generation [24.072847985361925]
放射線医学報告生成(RRG)は、医療資源不足を緩和する大きな可能性を秘めているため、研究の注目を集めている。
RRGの最近の進歩は、単一モーダルな特徴表現を符号化する際のモデルの能力の向上によって引き起こされる。
画像領域と単語間のクロスモーダルアライメントを明示的に検討する研究はほとんどない。
クロスモーダルアライメントを明示的に促進するクラス活性化マップガイドアテンションネットワーク(CAMANet)を提案する。
論文 参考訳（メタデータ） (2022-11-02T18:14:33Z) - Prior Knowledge-Guided Attention in Self-Supervised Vision Transformers [79.60022233109397]
本研究では、未ラベル画像データセットにおける一貫した空間的・意味的構造を利用するフレームワークである空間的事前注意(SPAN)を提案する。
SPANは、アテンションマスクを別個のトランスフォーマーヘッドから正規化し、セマンティック領域の様々な先導に従う。
その結果,アテンションマスクは,ドメインに依存しない事前学習から得られるマスクよりも解釈可能であることが判明した。
論文 参考訳（メタデータ） (2022-09-07T02:30:36Z) - ADVISE: ADaptive Feature Relevance and VISual Explanations for
Convolutional Neural Networks [0.745554610293091]
本稿では,機能マップの各ユニットの関連性を定量化し,活用して視覚的説明を提供する新しい説明可能性手法であるADVISEを紹介する。
我々は、画像分類タスクにおいて、AlexNet、VGG16、ResNet50、XceptionをImageNetで事前訓練した上で、我々のアイデアを広く評価する。
さらに,ADVISEは衛生チェックをパスしながら,感度および実装独立性公理を満たすことを示す。
論文 参考訳（メタデータ） (2022-03-02T18:16:57Z) - Statistical Dependency Guided Contrastive Learning for Multiple Labeling
in Prenatal Ultrasound [56.631021151764955]
標準平面認識は出生前超音波(US)スクリーニングにおいて重要な役割を担っている。
我々は,複数の標準平面と対応する解剖学的構造を同時に識別する,新しいマルチラベル学習手法を構築した。
論文 参考訳（メタデータ） (2021-08-11T06:39:26Z) - CAMERAS: Enhanced Resolution And Sanity preserving Class Activation
Mapping for image saliency [61.40511574314069]
バックプロパゲーション画像のサリエンシは、入力中の個々のピクセルのモデル中心の重要性を推定することにより、モデル予測を説明することを目的としている。
CAMERASは、外部の事前処理を必要とせずに、高忠実度バックプロパゲーション・サリエンシ・マップを計算できる手法である。
論文 参考訳（メタデータ） (2021-06-20T08:20:56Z) - Learning Inductive Attention Guidance for Partially Supervised
Pancreatic Ductal Adenocarcinoma Prediction [73.96902906734522]
膵管腺癌(PDAC)は、アメリカ合衆国で3番目に多いがん死の原因である。
本稿では,全てのトレーニングデータに対して安価な画像レベルのアノテーションが提供され,それらのサブセットに対してのみ,コストのかかるvoxelアノテーションが利用可能となる,部分教師付き設定について考察する。
Inductive Attention Guidance Network (IAG-Net) を提案し、通常の/PDAC分類のためのグローバル画像レベルの分類器と半教師付きPDAC分類のためのローカルボクセルレベルの分類器を共同で学習する。
論文 参考訳（メタデータ） (2021-05-31T08:16:09Z) - SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。
事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。
本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-25T14:13:44Z) - Multi-Lead ECG Classification via an Information-Based Attention
Convolutional Neural Network [1.1720399305661802]
1次元畳み込みニューラルネットワーク(CNN)は、広範に分類されるタスクに有効であることが証明されている。
残差接続を実装し,入力特徴マップ内の異なるチャネルに含まれる情報から重みを学習できる構造を設計する。
分類タスクにおいて、特定のモデルセグメントのパフォーマンスを監視するために平均平方偏差という指標を導入する。
論文 参考訳（メタデータ） (2020-03-25T02:28:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。