論文の概要: RadioTransformer: A Cascaded Global-Focal Transformer for Visual
Attention-guided Disease Classification
- arxiv url: http://arxiv.org/abs/2202.11781v1
- Date: Wed, 23 Feb 2022 20:52:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-25 16:58:02.609867
- Title: RadioTransformer: A Cascaded Global-Focal Transformer for Visual
Attention-guided Disease Classification
- Title(参考訳): radiotransformer: 視覚注意誘導疾患分類のためのカスケードグローバル焦点トランスフォーマ
- Authors: Moinak Bhattacharya, Shubham Jain, Prateek Prasanna
- Abstract要約: RadioTransformerはビジュアルアテンション駆動のトランスフォーマーフレームワークである。
放射線医の視線パターンから学習し、胸部X線写真における疾患診断のための視線認知行動のモデル化を行う。
各種疾患分類タスクを含む8つのデータセットに対する学生と教師のアプローチを実験的に検証した。
- 参考スコア(独自算出の注目度): 1.9867810465310287
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this work, we present RadioTransformer, a novel visual attention-driven
transformer framework, that leverages radiologists' gaze patterns and models
their visuo-cognitive behavior for disease diagnosis on chest radiographs.
Domain experts, such as radiologists, rely on visual information for medical
image interpretation. On the other hand, deep neural networks have demonstrated
significant promise in similar tasks even where visual interpretation is
challenging. Eye-gaze tracking has been used to capture the viewing behavior of
domain experts, lending insights into the complexity of visual search. However,
deep learning frameworks, even those that rely on attention mechanisms, do not
leverage this rich domain information. RadioTransformer fills this critical gap
by learning from radiologists' visual search patterns, encoded as 'human visual
attention regions' in a cascaded global-focal transformer framework. The
overall 'global' image characteristics and the more detailed 'local' features
are captured by the proposed global and focal modules, respectively. We
experimentally validate the efficacy of our student-teacher approach for 8
datasets involving different disease classification tasks where eye-gaze data
is not available during the inference phase.
- Abstract(参考訳): 本研究では,放射線科医の視線パターンを活用した新しい視覚注意駆動トランスフォーマーであるradiotransformerを提案する。
放射線技師のような領域の専門家は、医用画像解釈のための視覚情報に頼る。
一方、深いニューラルネットワークは、視覚的解釈が困難である場合でも、同様のタスクにおいて大きな可能性を証明している。
視線追跡は、視覚検索の複雑さに関する洞察を与え、ドメインの専門家の観察行動を捉えるために使われてきた。
しかし、注意機構に依存しているフレームワークでさえ、この豊富なドメイン情報を活用していない。
RadioTransformerはこの重要なギャップを、電波技師の視覚的探索パターンから学び、ケース化されたグローバル焦点変換フレームワークで「人間の視覚的注意領域」として符号化する。
全体的な「グローバル」画像の特徴とより詳細な「ローカル」特徴はそれぞれ、提案したグローバルモジュールと焦点モジュールによってキャプチャされる。
本研究は,眼球運動データがない病気分類タスクを含む8つのデータセットに対する,学生と教師のアプローチの有効性を実験的に検証した。
関連論文リスト
- Image complexity based fMRI-BOLD visual network categorization across
visual datasets using topological descriptors and deep-hybrid learning [3.522950356329991]
本研究の目的は,視覚的データセットと異なる視覚刺激に応答して,ネットワークトポロジがどう異なるかを検討することである。
これを実現するために、COCO、ImageNet、SUNを表す視覚ネットワーク毎に0次元および1次元の永続図を演算する。
抽出したK平均クラスター特徴は、これらの視覚ネットワークの分類において90%-95%の範囲で精度の高い新しいディープハイブリッドモデルに供給される。
論文 参考訳(メタデータ) (2023-11-03T14:05:57Z) - Self adaptive global-local feature enhancement for radiology report
generation [10.958641951927817]
グローバル・解剖学的領域の特徴を動的に融合して多粒性放射線学レポートを生成する新しいフレームワーク AGFNet を提案する。
まず,入力胸部X線(CXR)の解剖学的特徴と大域的特徴を抽出する。
そして,領域の特徴とグローバルな特徴を入力として,提案した自己適応型核融合ゲートモジュールは動的に多粒性情報を融合することができる。
最後に、キャプション生成装置は、多粒性特徴により放射線学レポートを生成する。
論文 参考訳(メタデータ) (2022-11-21T11:50:42Z) - Representative Image Feature Extraction via Contrastive Learning
Pretraining for Chest X-ray Report Generation [19.69560434388278]
医療報告生成の目標は、画像の発見を正確に把握し、記述することである。
以前の作業では、さまざまなドメインで大規模なデータセットを使用して、視覚的エンコーディングニューラルネットワークを事前トレーニングしていた。
本稿では,視覚的エンコーダの事前学習に対照的な学習手法を用い,メタ情報を必要としないフレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-04T12:07:19Z) - Data-Efficient Vision Transformers for Multi-Label Disease
Classification on Chest Radiographs [55.78588835407174]
視覚変換器(ViT)は一般的な画像の分類性能が高いにもかかわらず、このタスクには適用されていない。
ViTは、畳み込みではなくパッチベースの自己アテンションに依存しており、CNNとは対照的に、ローカル接続に関する事前の知識は存在しない。
以上の結果から,ViTとCNNのパフォーマンスはViTの利点に匹敵するものの,DeiTsはトレーニング用に適度に大規模なデータセットが利用可能であれば,前者よりも優れることがわかった。
論文 参考訳(メタデータ) (2022-08-17T09:07:45Z) - Using Multi-modal Data for Improving Generalizability and Explainability
of Disease Classification in Radiology [0.0]
従来の放射線診断用データセットは、放射線診断報告と並行して放射線画像のみを提供する傾向にある。
本稿では、最近発表されたEye-Gazeデータセットを用いて、ディープラーニング(DL)分類の性能と説明可能性への影響を徹底的に研究する。
X線画像の最良の分類性能は, 自由テキスト画像と無線画像との組み合わせで達成され, 視線データによる性能向上は得られなかった。
論文 参考訳(メタデータ) (2022-07-29T16:49:05Z) - Focused Decoding Enables 3D Anatomical Detection by Transformers [64.36530874341666]
集束デコーダと呼ばれる3次元解剖学的構造検出のための新しい検出変換器を提案する。
Focused Decoderは、解剖学的領域のアトラスからの情報を活用して、クエリアンカーを同時にデプロイし、クロスアテンションの視野を制限する。
提案手法を利用可能な2つのCTデータセットに対して評価し、フォーカスドデコーダが強力な検出結果を提供するだけでなく、大量の注釈付きデータの必要性を軽減し、注意重みによる結果の例外的で直感的な説明性を示すことを示した。
論文 参考訳(メタデータ) (2022-07-21T22:17:21Z) - Radiomics-Guided Global-Local Transformer for Weakly Supervised
Pathology Localization in Chest X-Rays [65.88435151891369]
Radiomics-Guided Transformer (RGT)は、テキストトグロバル画像情報と、テキストトグロバル情報とを融合する。
RGTは、画像トランスフォーマーブランチ、放射能トランスフォーマーブランチ、および画像と放射線情報を集約する融合層から構成される。
論文 参考訳(メタデータ) (2022-07-10T06:32:56Z) - AlignTransformer: Hierarchical Alignment of Visual Regions and Disease
Tags for Medical Report Generation [50.21065317817769]
本稿では,Align Hierarchical Attention (AHA)とMulti-Grained Transformer (MGT)モジュールを含むAlign Transformerフレームワークを提案する。
パブリックなIU-XrayとMIMIC-CXRデータセットの実験は、AlignTransformerが2つのデータセットの最先端メソッドと競合する結果が得られることを示している。
論文 参考訳(メタデータ) (2022-03-18T13:43:53Z) - Self-Supervised Vision Transformers Learn Visual Concepts in
Histopathology [5.164102666113966]
我々は、様々な弱い教師付きおよびパッチレベルのタスクに対する検証を行い、様々な自己教師付きモデルを訓練することにより、病理学における良い表現を探索する。
我々の重要な発見は、DINOベースの知識蒸留を用いたビジョントランスフォーマーが、組織像におけるデータ効率と解釈可能な特徴を学習できることを発見したことである。
論文 参考訳(メタデータ) (2022-03-01T16:14:41Z) - Transformers in Medical Imaging: A Survey [88.03790310594533]
トランスフォーマーはいくつかのコンピュータビジョン問題に適用され、最先端の結果が得られた。
医療画像はまた、局所受容野を持つCNNと比較して、グローバルな文脈を捉えられるトランスフォーマーへの関心が高まっている。
本稿では,最近提案された建築設計から未解決問題に至るまで,医療画像におけるトランスフォーマーの応用について概説する。
論文 参考訳(メタデータ) (2022-01-24T18:50:18Z) - Generative Residual Attention Network for Disease Detection [51.60842580044539]
本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。
我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。
次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
論文 参考訳(メタデータ) (2021-10-25T14:15:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。