論文の概要: RadioTransformer: A Cascaded Global-Focal Transformer for Visual
Attention-guided Disease Classification
- arxiv url: http://arxiv.org/abs/2202.11781v1
- Date: Wed, 23 Feb 2022 20:52:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-25 16:58:02.609867
- Title: RadioTransformer: A Cascaded Global-Focal Transformer for Visual
Attention-guided Disease Classification
- Title（参考訳）: radiotransformer: 視覚注意誘導疾患分類のためのカスケードグローバル焦点トランスフォーマ
- Authors: Moinak Bhattacharya, Shubham Jain, Prateek Prasanna
- Abstract要約: RadioTransformerはビジュアルアテンション駆動のトランスフォーマーフレームワークである。
放射線医の視線パターンから学習し、胸部X線写真における疾患診断のための視線認知行動のモデル化を行う。
各種疾患分類タスクを含む8つのデータセットに対する学生と教師のアプローチを実験的に検証した。
- 参考スコア（独自算出の注目度）: 1.9867810465310287
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this work, we present RadioTransformer, a novel visual attention-driven
transformer framework, that leverages radiologists' gaze patterns and models
their visuo-cognitive behavior for disease diagnosis on chest radiographs.
Domain experts, such as radiologists, rely on visual information for medical
image interpretation. On the other hand, deep neural networks have demonstrated
significant promise in similar tasks even where visual interpretation is
challenging. Eye-gaze tracking has been used to capture the viewing behavior of
domain experts, lending insights into the complexity of visual search. However,
deep learning frameworks, even those that rely on attention mechanisms, do not
leverage this rich domain information. RadioTransformer fills this critical gap
by learning from radiologists' visual search patterns, encoded as 'human visual
attention regions' in a cascaded global-focal transformer framework. The
overall 'global' image characteristics and the more detailed 'local' features
are captured by the proposed global and focal modules, respectively. We
experimentally validate the efficacy of our student-teacher approach for 8
datasets involving different disease classification tasks where eye-gaze data
is not available during the inference phase.
- Abstract（参考訳）: 本研究では,放射線科医の視線パターンを活用した新しい視覚注意駆動トランスフォーマーであるradiotransformerを提案する。
放射線技師のような領域の専門家は、医用画像解釈のための視覚情報に頼る。
一方、深いニューラルネットワークは、視覚的解釈が困難である場合でも、同様のタスクにおいて大きな可能性を証明している。
視線追跡は、視覚検索の複雑さに関する洞察を与え、ドメインの専門家の観察行動を捉えるために使われてきた。
しかし、注意機構に依存しているフレームワークでさえ、この豊富なドメイン情報を活用していない。
RadioTransformerはこの重要なギャップを、電波技師の視覚的探索パターンから学び、ケース化されたグローバル焦点変換フレームワークで「人間の視覚的注意領域」として符号化する。
全体的な「グローバル」画像の特徴とより詳細な「ローカル」特徴はそれぞれ、提案したグローバルモジュールと焦点モジュールによってキャプチャされる。
本研究は,眼球運動データがない病気分類タスクを含む8つのデータセットに対する,学生と教師のアプローチの有効性を実験的に検証した。
関連論文リスト
- GEM: Context-Aware Gaze EstiMation with Visual Search Behavior Matching for Chest Radiograph [32.1234295417225]
本稿では,放射線科医が収集した視線データを用いて視覚的な探索行動パターンをシミュレートする,文脈対応型Gaze EstiMation (GEM) ネットワークを提案する。
コンテキスト認識モジュール、視覚行動グラフ構築、視覚行動マッチングで構成される。
4つの公開データセットの実験は、既存の方法よりもGEMの方が優れていることを示している。
論文 参考訳（メタデータ） (2024-08-10T09:46:25Z) - Advancing Medical Image Segmentation: Morphology-Driven Learning with Diffusion Transformer [4.672688418357066]
本稿では,雑音の存在下での頑健なセグメンテーションのためのトランスフォーマー拡散(DTS)モデルを提案する。
画像の形態的表現を解析する本モデルでは, 種々の医用画像モダリティにおいて, 従来のモデルよりも良好な結果が得られた。
論文 参考訳（メタデータ） (2024-08-01T07:35:54Z) - Eye-gaze Guided Multi-modal Alignment for Medical Representation Learning [65.54680361074882]
アイゲイズガイドマルチモーダルアライメント(EGMA)フレームワークは、アイゲイズデータを利用して、医用視覚的特徴とテキスト的特徴のアライメントを改善する。
我々は4つの医療データセット上で画像分類と画像テキスト検索の下流タスクを行う。
論文 参考訳（メタデータ） (2024-03-19T03:59:14Z) - Act Like a Radiologist: Radiology Report Generation across Anatomical Regions [50.13206214694885]
X-RGenは6つの解剖学的領域にわたる放射線学者によるレポート生成フレームワークである。
X-RGenでは、ヒトの放射線学者の行動を模倣し、これらを4つの主要な段階に分解する。
画像エンコーダの認識能力は,各領域にまたがる画像やレポートを分析して向上する。
論文 参考訳（メタデータ） (2023-05-26T07:12:35Z) - Self adaptive global-local feature enhancement for radiology report
generation [10.958641951927817]
グローバル・解剖学的領域の特徴を動的に融合して多粒性放射線学レポートを生成する新しいフレームワーク AGFNet を提案する。
まず,入力胸部X線(CXR)の解剖学的特徴と大域的特徴を抽出する。
そして,領域の特徴とグローバルな特徴を入力として,提案した自己適応型核融合ゲートモジュールは動的に多粒性情報を融合することができる。
最後に、キャプション生成装置は、多粒性特徴により放射線学レポートを生成する。
論文 参考訳（メタデータ） (2022-11-21T11:50:42Z) - Representative Image Feature Extraction via Contrastive Learning
Pretraining for Chest X-ray Report Generation [19.69560434388278]
医療報告生成の目標は、画像の発見を正確に把握し、記述することである。
以前の作業では、さまざまなドメインで大規模なデータセットを使用して、視覚的エンコーディングニューラルネットワークを事前トレーニングしていた。
本稿では,視覚的エンコーダの事前学習に対照的な学習手法を用い,メタ情報を必要としないフレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-04T12:07:19Z) - Focused Decoding Enables 3D Anatomical Detection by Transformers [64.36530874341666]
集束デコーダと呼ばれる3次元解剖学的構造検出のための新しい検出変換器を提案する。
Focused Decoderは、解剖学的領域のアトラスからの情報を活用して、クエリアンカーを同時にデプロイし、クロスアテンションの視野を制限する。
提案手法を利用可能な2つのCTデータセットに対して評価し、フォーカスドデコーダが強力な検出結果を提供するだけでなく、大量の注釈付きデータの必要性を軽減し、注意重みによる結果の例外的で直感的な説明性を示すことを示した。
論文 参考訳（メタデータ） (2022-07-21T22:17:21Z) - Radiomics-Guided Global-Local Transformer for Weakly Supervised
Pathology Localization in Chest X-Rays [65.88435151891369]
Radiomics-Guided Transformer (RGT)は、テキストトグロバル画像情報と、テキストトグロバル情報とを融合する。
RGTは、画像トランスフォーマーブランチ、放射能トランスフォーマーブランチ、および画像と放射線情報を集約する融合層から構成される。
論文 参考訳（メタデータ） (2022-07-10T06:32:56Z) - Self-Supervised Vision Transformers Learn Visual Concepts in
Histopathology [5.164102666113966]
我々は、様々な弱い教師付きおよびパッチレベルのタスクに対する検証を行い、様々な自己教師付きモデルを訓練することにより、病理学における良い表現を探索する。
我々の重要な発見は、DINOベースの知識蒸留を用いたビジョントランスフォーマーが、組織像におけるデータ効率と解釈可能な特徴を学習できることを発見したことである。
論文 参考訳（メタデータ） (2022-03-01T16:14:41Z) - Transformers in Medical Imaging: A Survey [88.03790310594533]
トランスフォーマーはいくつかのコンピュータビジョン問題に適用され、最先端の結果が得られた。
医療画像はまた、局所受容野を持つCNNと比較して、グローバルな文脈を捉えられるトランスフォーマーへの関心が高まっている。
本稿では,最近提案された建築設計から未解決問題に至るまで,医療画像におけるトランスフォーマーの応用について概説する。
論文 参考訳（メタデータ） (2022-01-24T18:50:18Z) - Generative Residual Attention Network for Disease Detection [51.60842580044539]
本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。
我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。
次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
論文 参考訳（メタデータ） (2021-10-25T14:15:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。