論文の概要: SAP-ViT: A Self-Attributing Patch Vision Transformer for Medical Image Classification
- arxiv url: http://arxiv.org/abs/2610.35593v1
- Date: Mon, 26 Oct 2026 15:19:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:14.050378
- Title: SAP-ViT: A Self-Attributing Patch Vision Transformer for Medical Image Classification
- Title(参考訳): SAP-ViT:医療画像分類のための自己貢献型パッチビジョントランス
- Abstract要約: SAPViTは、CLSベースの分類を最終層へのパッチ埋め込みの直接集約に置き換えるセルフ属性のパッチビジョン変換器である。
異なる画像量にまたがる複数の医用画像分類データセットにおけるSAP-ViTの評価を行った。
- 参考スコア(独自算出の注目度): 14.312232248688284
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision Transformer (ViT) classifiers commonly rely on a global classification (CLS) token for image-level prediction, which is poorly aligned with local interpretability requirements in medical imaging. We propose SAP-ViT, a Self-Attributing Patch Vision Transformer that replaces CLS-based classification with direct aggregation of last-layer patch embeddings. This design makes class predictions decomposable into patch-level contributions as part of the forward pass. To encourage concise and readable evidence, SAP-ViT applies sparsity regularization to the patch-weight distribution. Since self-attention mixes information across patch tokens, we further introduce an input-space back-mapping mechanism to estimate which input patches contribute to influential output patch embeddings. We evaluate SAP-ViT qualitatively and quantitatively on multiple medical image classification datasets spanning different imaging modalities. The results show that SAP-ViT maintains strong classification performance while providing consistent and interpretable patch-level explanations across datasets. Ablation results further show that both sparsity regularization and the alignment component of input-space back-mapping contribute to the final explanation quality. Overall, SAP-ViT provides a favorable trade-off between predictive accuracy and interpretability for ViT-based medical image classification.
- Abstract(参考訳): Vision Transformer (ViT) 分類器は、画像レベルの予測にグローバルな分類(CLS)トークンを使用するのが一般的である。
我々は,CLSに基づく分類を最終層へのパッチ埋め込みの直接集約に置き換えるセルフ属性・パッチ・ビジョン・トランスフォーマであるSAP-ViTを提案する。
この設計は、フォワードパスの一部としてクラス予測をパッチレベルのコントリビューションに分解可能にする。
簡潔で読みやすいエビデンスを促進するため、SAP-ViTはパッチ重み分布にスパーシティ正則化を適用する。
自己注意はパッチトークン間で情報を混合するため、どの入力パッチが影響のある出力パッチの埋め込みに寄与するかを推定する入力空間バックマッピング機構も導入する。
SAP-ViTは,様々な画像モダリティにまたがる複数の医用画像分類データセットに対して質的,定量的に評価する。
その結果、SAP-ViTは、データセット間の一貫性と解釈可能なパッチレベルの説明を提供しながら、強力な分類性能を維持していることがわかった。
さらにアブレーションの結果,入力空間バックマッピングの空間規則化とアライメント成分が最終説明品質に寄与することが示唆された。
全体として、SAP-ViTは、ViTベースの医用画像分類において、予測精度と解釈可能性の間の良好なトレードオフを提供する。
関連論文リスト
- Learning Fine-Grained Visual Classification with Text as Privileged Information via Multimodal Distillation [5.9771814055976025]
きめ細かい視覚分類(FGVC)は、微妙で局所的な視覚差に着目して、非常に類似したカテゴリーを区別する必要がある。
近年, テキスト記述は, 対象特性を明示的に記述することで, 意味的管理に役立てることが実証されている。
学習中に属性記述を活用するフレームワークFG-LUPIを提案する。
論文 参考訳(メタデータ) (2026-10-23T10:07:27Z) - Prompt-Anchored Residual Adaptation for Biomedical Vision-Language Models [17.400204866383355]
バイオメディカル画像分類において,事前学習した視覚言語モデルは強いゼロショット性能を実現する。
少数ショット適応は、小さなラベル付きサポートセット上でタスク固有の予測器を最適化することで、ミスマッチに対処する。
本稿では,Pmpt-Anchored Residual Adaptation (PARA)を提案する。
論文 参考訳(メタデータ) (2026-09-27T16:01:15Z) - [CLS] is Not Enough: Multi-Label Recognition via Patch-Level Inference and Adaptive Aggregation [20.637119409165418]
PIAAは、アダプティブアグリゲーション(Adaptive Aggregation)によって、パッチレベルの推論として予測を定式化する。
パッチレベルのスコアを最終的なマルチラベル予測に集約するアダプティブアグリゲーションモジュールを導入する。
実験の結果,提案手法は最小限の余剰計算で強い改善を達成できることがわかった。
論文 参考訳(メタデータ) (2026-05-25T13:19:12Z) - ZACH-ViT: Regime-Dependent Inductive Bias in Compact Vision Transformers for Medical Imaging [0.0]
ZACH-ViTはコンパクトなビジョン変換器で、位置埋め込みとトークンの両方を取り除きます。
特に「ゼロトークン」とは、専用の[NIST]アグリゲーショントークンと位置埋め込みを取り除くことを指す。
ZACH-ViTは、サブ秒の推論時間を維持しながら競合性能を達成する。
論文 参考訳(メタデータ) (2026-02-20T01:38:59Z) - Breaking the Frame: Visual Place Recognition by Overlap Prediction [53.17564423756082]
本稿では,重なり合う予測に基づく新しい視覚的位置認識手法 VOP を提案する。
VOPは、Vision Transformerのバックボーンを使用してパッチレベルの埋め込みを取得することで、コビジュアブルなイメージセクションを進める。
提案手法では,データベース画像の重複点の評価に投票機構を用いる。
論文 参考訳(メタデータ) (2024-06-23T20:00:20Z) - A self-supervised framework for learning whole slide representations [52.774822784847565]
我々は、全スライド画像のギガピクセルスケールの自己スーパービジョンのためのSlide Pre-trained Transformer (SPT)を提案する。
バイオメディカル・マイクロスコープ・データセットを用いて,5つの診断課題におけるSPT視覚表現のベンチマークを行った。
論文 参考訳(メタデータ) (2024-02-09T05:05:28Z) - Learning to Exploit Temporal Structure for Biomedical Vision-Language
Processing [53.89917396428747]
視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。
トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。
我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
論文 参考訳(メタデータ) (2023-01-11T16:35:33Z) - UIA-ViT: Unsupervised Inconsistency-Aware Method based on Vision
Transformer for Face Forgery Detection [52.91782218300844]
そこで我々は、UIA-ViTと呼ばれるビジョン変換器に基づく教師なし不整合認識手法を提案する。
自己注意機構により、パッチ埋め込み間の注意マップは自然に一貫性関係を表現し、一貫性表現学習に適した視覚変換器となる。
論文 参考訳(メタデータ) (2022-10-23T15:24:47Z) - Prior Knowledge-Guided Attention in Self-Supervised Vision Transformers [79.60022233109397]
本研究では、未ラベル画像データセットにおける一貫した空間的・意味的構造を利用するフレームワークである空間的事前注意(SPAN)を提案する。
SPANは、アテンションマスクを別個のトランスフォーマーヘッドから正規化し、セマンティック領域の様々な先導に従う。
その結果,アテンションマスクは,ドメインに依存しない事前学習から得られるマスクよりも解釈可能であることが判明した。
論文 参考訳(メタデータ) (2022-09-07T02:30:36Z) - DSNet: A Dual-Stream Framework for Weakly-Supervised Gigapixel Pathology
Image Analysis [78.78181964748144]
スライド画像全体(WSI)を分類するための弱教師付きフレームワークを提案する。
WSIは通常、パッチレベルのラベルを持つパッチワイド分類によって処理される。
イメージレベルのラベルのみの場合、パッチの外観とイメージレベルのラベルの矛盾のため、パッチの分類はサブ最適となる。
論文 参考訳(メタデータ) (2021-09-13T09:10:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。