論文の概要: Radiomics-Guided Global-Local Transformer for Weakly Supervised
Pathology Localization in Chest X-Rays
- arxiv url: http://arxiv.org/abs/2207.04394v3
- Date: Thu, 14 Jul 2022 09:16:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-15 10:28:18.770911
- Title: Radiomics-Guided Global-Local Transformer for Weakly Supervised
Pathology Localization in Chest X-Rays
- Title(参考訳): 放射線誘導グローバルローカ変換器による胸部X線診断
- Authors: Yan Han, Gregory Holste, Ying Ding, Ahmed Tewfik, Yifan Peng, and
Zhangyang Wang
- Abstract要約: Radiomics-Guided Transformer (RGT)は、テキストトグロバル画像情報と、テキストトグロバル情報とを融合する。
RGTは、画像トランスフォーマーブランチ、放射能トランスフォーマーブランチ、および画像と放射線情報を集約する融合層から構成される。
- 参考スコア(独自算出の注目度): 65.88435151891369
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Before the recent success of deep learning methods for automated medical
image analysis, practitioners used handcrafted radiomic features to
quantitatively describe local patches of medical images. However, extracting
discriminative radiomic features relies on accurate pathology localization,
which is difficult to acquire in real-world settings. Despite advances in
disease classification and localization from chest X-rays, many approaches fail
to incorporate clinically-informed domain knowledge. For these reasons, we
propose a Radiomics-Guided Transformer (RGT) that fuses \textit{global} image
information with \textit{local} knowledge-guided radiomics information to
provide accurate cardiopulmonary pathology localization and classification
\textit{without any bounding box annotations}. RGT consists of an image
Transformer branch, a radiomics Transformer branch, and fusion layers that
aggregate image and radiomic information. Using the learned self-attention of
its image branch, RGT extracts a bounding box for which to compute radiomic
features, which are further processed by the radiomics branch; learned image
and radiomic features are then fused and mutually interact via cross-attention
layers. Thus, RGT utilizes a novel end-to-end feedback loop that can bootstrap
accurate pathology localization only using image-level disease labels.
Experiments on the NIH ChestXRay dataset demonstrate that RGT outperforms prior
works in weakly supervised disease localization (by an average margin of 3.6\%
over various intersection-over-union thresholds) and classification (by 1.1\%
in average area under the receiver operating characteristic curve). We publicly
release our codes and pre-trained models at
\url{https://github.com/VITA-Group/chext}.
- Abstract(参考訳): 医療画像の自動解析のためのディープラーニング手法が最近成功する以前、実践者は医療画像の局所的なパッチを定量的に記述するために手作りの放射線学的特徴を使用していた。
しかし, 診断的放射線学的特徴の抽出は, 正確な病理組織局在に依存するため, 実世界では獲得が困難である。
疾患の分類や胸部x線からの局在化の進歩にもかかわらず、多くのアプローチは臨床で不正なドメイン知識を取り入れられていない。
これらの理由から,Radiomics-Guided Transformer (RGT) を提案する。このトランスフォーマは,<textit{global} 画像情報を \textit{local} 知識誘導無線情報と融合し,正確な心肺疾患の局在と分類を行う。
RGTは、画像トランスフォーマーブランチ、放射能トランスフォーマーブランチ、および画像と放射線情報を集約する融合層から構成される。
rgtは、画像ブランチの学習されたセルフアテンションを用いて、放射線ブランチによってさらに処理される放射線特徴を計算するための境界ボックスを抽出し、学習画像と放射線特徴を融合してクロスアテンション層を介して相互に相互作用させる。
このようにして、RGTは画像レベルの疾患ラベルのみを用いて、正確な病理局在をブートストラップできる新しいエンドツーエンドフィードバックループを利用する。
NIH ChestXRayデータセットの実験では、RGTは、弱制御された疾患の局所化(様々な交叉対ユニオン閾値の平均マージン 3.6 %)と分類(レシーバーの操作特性曲線の下での平均領域 1.1 % )において、以前よりも優れていたことが示されている。
私たちは、コードと事前トレーニング済みのモデルを、 \url{https://github.com/VITA-Group/chext}で公開しています。
関連論文リスト
- DeepLOC: Deep Learning-based Bone Pathology Localization and
Classification in Wrist X-ray Images [1.45543311565555]
本稿では,手首X線画像における骨病理像の局在と分類のための新しいアプローチを提案する。
提案手法は,手首X線解析における2つの重要な課題,骨の正確な局在化と異常の正確な分類に対処する。
論文 参考訳(メタデータ) (2023-08-24T12:06:10Z) - Act Like a Radiologist: Radiology Report Generation across Anatomical Regions [50.13206214694885]
X-RGenは6つの解剖学的領域にわたる放射線学者によるレポート生成フレームワークである。
X-RGenでは、ヒトの放射線学者の行動を模倣し、これらを4つの主要な段階に分解する。
画像エンコーダの認識能力は,各領域にまたがる画像やレポートを分析して向上する。
論文 参考訳(メタデータ) (2023-05-26T07:12:35Z) - Localization supervision of chest x-ray classifiers using label-specific
eye-tracking annotation [4.8035104863603575]
眼球追跡(ET)データは、放射線科医の診療ワークフローにおいて、非侵襲的な方法で収集することができる。
我々は、CXRレポートを作成してCNNを訓練する際、放射線技師から記録されたETデータを使用します。
ETデータから,キーワードの指示に関連付けて抽出し,異常の局所化を監督する。
論文 参考訳(メタデータ) (2022-07-20T09:26:29Z) - Preservation of High Frequency Content for Deep Learning-Based Medical
Image Classification [74.84221280249876]
大量の胸部ラジオグラフィーの効率的な分析は、医師や放射線技師を助けることができる。
本稿では,視覚情報の効率的な識別と符号化のための離散ウェーブレット変換(DWT)を提案する。
論文 参考訳(メタデータ) (2022-05-08T15:29:54Z) - Generative Residual Attention Network for Disease Detection [51.60842580044539]
本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。
我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。
次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
論文 参考訳(メタデータ) (2021-10-25T14:15:57Z) - Cross-Modal Contrastive Learning for Abnormality Classification and
Localization in Chest X-rays with Radiomics using a Feedback Loop [63.81818077092879]
医療画像のためのエンドツーエンドのセミスーパーバイスドクロスモーダルコントラスト学習フレームワークを提案する。
まず、胸部X線を分類し、画像特徴を生成するために画像エンコーダを適用する。
放射能の特徴は別の専用エンコーダを通過し、同じ胸部x線から生成された画像の特徴の正のサンプルとして機能する。
論文 参考訳(メタデータ) (2021-04-11T09:16:29Z) - Using Radiomics as Prior Knowledge for Thorax Disease Classification and
Localization in Chest X-rays [14.679677447702653]
放射能特性を利用して異常分類性能を向上させるためのエンドツーエンドフレームワークであるChexRadiNetを開発した。
我々は、NIH ChestX-ray、CheXpert、MIMIC-CXRの3つの公開データセットを用いてChexRadiNetフレームワークを評価する。
論文 参考訳(メタデータ) (2020-11-25T04:16:38Z) - Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report
Generation [107.3538598876467]
放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。
ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
論文 参考訳(メタデータ) (2020-06-06T01:00:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。