論文の概要: Identifying Critical Tokens for Accurate Predictions in Transformer-based Medical Imaging Models
- arxiv url: http://arxiv.org/abs/2501.15452v1
- Date: Sun, 26 Jan 2025 08:49:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-28 13:59:10.377199
- Title: Identifying Critical Tokens for Accurate Predictions in Transformer-based Medical Imaging Models
- Title（参考訳）: トランスフォーマーを用いた医療画像モデルにおける正確な予測のための臨界トークンの同定
- Authors: Solha Kang, Joris Vankerschaver, Utku Ozbulak,
- Abstract要約: 我々は、トランスフォーマーに基づく医療画像モデルの意思決定過程の解明に向けて一歩踏み出した。
本稿では,モデルによる予測に寄与するクリティカルトークンを識別する新しい手法であるToken Insightを提案する。
実験の結果,Token Insightはより透明で解釈可能なトランスフォーマーベースの医療画像モデルに寄与することが示唆された。
- 参考スコア（独自算出の注目度）: 0.4915744683251151
- License:
- Abstract: With the advancements in self-supervised learning (SSL), transformer-based computer vision models have recently demonstrated superior results compared to convolutional neural networks (CNNs) and are poised to dominate the field of artificial intelligence (AI)-based medical imaging in the upcoming years. Nevertheless, similar to CNNs, unveiling the decision-making process of transformer-based models remains a challenge. In this work, we take a step towards demystifying the decision-making process of transformer-based medical imaging models and propose Token Insight, a novel method that identifies the critical tokens that contribute to the prediction made by the model. Our method relies on the principled approach of token discarding native to transformer-based models, requires no additional module, and can be applied to any transformer model. Using the proposed approach, we quantify the importance of each token based on its contribution to the prediction and enable a more nuanced understanding of the model's decisions. Our experimental results which are showcased on the problem of colonic polyp identification using both supervised and self-supervised pretrained vision transformers indicate that Token Insight contributes to a more transparent and interpretable transformer-based medical imaging model, fostering trust and facilitating broader adoption in clinical settings.
- Abstract（参考訳）: 自己教師型学習(SSL)の進歩に伴い、トランスフォーマーベースのコンピュータビジョンモデルは近年、畳み込みニューラルネットワーク(CNN)よりも優れた結果を示しており、今後数年間は人工知能(AI)ベースの医療画像の分野で優位に立つ可能性がある。
それでも、CNNと同様、トランスフォーマーベースのモデルの意思決定プロセスを公開することは、依然として課題である。
本研究では,トランスフォーマーを用いた医療画像モデルの意思決定プロセスの解明に向けて一歩踏み出し,モデルによる予測に寄与する重要なトークンを識別する新しい手法であるToken Insightを提案する。
本手法は,トランスモデルにネイティブなトークンを破棄する原則的アプローチに依存し,モジュールの追加は不要であり,トランスモデルにも適用可能である。
提案手法を用いて,予測への貢献に基づいて各トークンの重要性を定量化し,モデル決定のより曖昧な理解を可能にする。
教師付きおよび自己指導型事前学習型視力変換器を用いた大腸ポリープ同定の問題点を考察した結果,Token Insightはより透明で解釈可能なトランスフォーマーベースの医療画像モデルに寄与し,信頼性を高め,臨床現場で広く採用されていることが示唆された。
関連論文リスト
- Improved EATFormer: A Vision Transformer for Medical Image Classification [0.0]
本稿では,ビジョントランスフォーマを用いた医用画像分類のための改良されたアルゴリズムベースのトランスフォーマアーキテクチャを提案する。
提案したEATFormerアーキテクチャは、畳み込みニューラルネットワークとビジョントランスフォーマーの長所を組み合わせたものだ。
Chest X-rayデータセットとKvasirデータセットの実験結果から,提案したEATFormerはベースラインモデルと比較して予測速度と精度を大幅に向上することが示された。
論文 参考訳（メタデータ） (2024-03-19T21:40:20Z) - Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。
本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。
実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
論文 参考訳（メタデータ） (2023-10-22T02:27:02Z) - SeUNet-Trans: A Simple yet Effective UNet-Transformer Model for Medical
Image Segmentation [0.0]
医用画像セグメンテーションのためのシンプルなUNet-Transformer(seUNet-Trans)モデルを提案する。
提案手法では,UNetモデルを特徴抽出器として設計し,入力画像から複数の特徴マップを生成する。
UNetアーキテクチャと自己認識機構を活用することで、我々のモデルはローカルとグローバルの両方のコンテキスト情報を保存するだけでなく、入力要素間の長距離依存関係をキャプチャできる。
論文 参考訳（メタデータ） (2023-10-16T01:13:38Z) - Explainable Techniques for Analyzing Flow Cytometry Cell Transformers [0.0]
我々は、注意の可視化を容易にするReluFormerと呼ばれるトランスフォーマーアーキテクチャの使用法を評価する。
本稿では,Flow CytoMetry(FCM)データに適した勾配と注意に基づく可視化手法を提案する。
論文 参考訳（メタデータ） (2023-07-27T02:03:52Z) - Towards Trustworthy Healthcare AI: Attention-Based Feature Learning for
COVID-19 Screening With Chest Radiography [70.37371604119826]
信頼性を備えたAIモデルの構築は、特に医療などの規制領域において重要である。
これまでの研究では、畳み込みニューラルネットワークをバックボーンアーキテクチャとして使用していた。
本稿では,視覚変換器を用いた特徴学習手法を提案する。
論文 参考訳（メタデータ） (2022-07-19T14:55:42Z) - From Modern CNNs to Vision Transformers: Assessing the Performance,
Robustness, and Classification Strategies of Deep Learning Models in
Histopathology [1.8947504307591034]
我々は、広範囲の分類モデルを広範囲に評価する新しい手法を開発した。
広く使用されている5つの病理組織学的データセットを用いて,そのモデルを徹底的に検証した。
既存の解釈可能性手法を拡張し、モデルの分類戦略に関する洞察を体系的に明らかにする。
論文 参考訳（メタデータ） (2022-04-11T12:26:19Z) - Class-Aware Generative Adversarial Transformers for Medical Image
Segmentation [39.14169989603906]
医用画像セグメンテーションのための新規な生成逆変換器CA-GANformerを提案する。
まず、ピラミッド構造を利用してマルチスケール表現を構築し、マルチスケールのバリエーションを扱う。
次に、意味構造を持つオブジェクトの識別領域をよりよく学習するために、新しいクラス対応トランスフォーマーモジュールを設計する。
論文 参考訳（メタデータ） (2022-01-26T03:50:02Z) - Learning Generative Vision Transformer with Energy-Based Latent Space
for Saliency Prediction [51.80191416661064]
本稿では,有意な物体検出に先立って,潜伏変数を持つ新しい視覚変換器を提案する。
ビジョントランスネットワークとエネルギーベース先行モデルの両方は、マルコフ連鎖モンテカルロによる最大推定を通じて共同で訓練される。
生成型視覚変換器により、画像から容易に画素単位の不確実性マップを得ることができ、画像から唾液濃度を予測するためのモデル信頼度を示す。
論文 参考訳（メタデータ） (2021-12-27T06:04:33Z) - Visformer: The Vision-friendly Transformer [105.52122194322592]
我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。
同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
論文 参考訳（メタデータ） (2021-04-26T13:13:03Z) - Visual Saliency Transformer [127.33678448761599]
RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。
イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。
実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
論文 参考訳（メタデータ） (2021-04-25T08:24:06Z) - Retinopathy of Prematurity Stage Diagnosis Using Object Segmentation and
Convolutional Neural Networks [68.96150598294072]
未熟児網膜症(英: Retinopathy of Prematurity、ROP)は、主に体重の低い未熟児に影響を及ぼす眼疾患である。
網膜の血管の増殖を招き、視力喪失を招き、最終的には網膜剥離を招き、失明を引き起こす。
近年,ディープラーニングを用いて診断を自動化する試みが盛んに行われている。
本稿では,従来のモデルの成功を基盤として,オブジェクトセグメンテーションと畳み込みニューラルネットワーク(CNN)を組み合わせた新しいアーキテクチャを開発する。
提案システムでは,まず対象分割モデルを訓練し,画素レベルでの区切り線を識別し,その結果のマスクを追加の"カラー"チャネルとして付加する。
論文 参考訳（メタデータ） (2020-04-03T14:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。