論文の概要: Cross-Modal Contrastive Learning for Abnormality Classification and Localization in Chest X-rays with Radiomics using a Feedback Loop

• arxiv url: http://arxiv.org/abs/2104.04968v1
• Date: Sun, 11 Apr 2021 09:16:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:13:34.417998
• Title: Cross-Modal Contrastive Learning for Abnormality Classification and Localization in Chest X-rays with Radiomics using a Feedback Loop
• Title（参考訳）: フィードバックループを用いた胸部x線画像の異常分類と局在のクロスモーダルコントラスト学習
• Authors: Yan Han, Chongyan Chen, Ahmed Tewfik, Benjamin Glicksberg, Ying Ding, Yifan Peng, Zhangyang Wang
• Abstract要約: 医療画像のためのエンドツーエンドのセミスーパーバイスドクロスモーダルコントラスト学習フレームワークを提案する。 まず、胸部X線を分類し、画像特徴を生成するために画像エンコーダを適用する。 放射能の特徴は別の専用エンコーダを通過し、同じ胸部x線から生成された画像の特徴の正のサンプルとして機能する。
• 参考スコア（独自算出の注目度）: 63.81818077092879
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building a highly accurate predictive model for these tasks usually requires a large number of manually annotated labels and pixel regions (bounding boxes) of abnormalities. However, it is expensive to acquire such annotations, especially the bounding boxes. Recently, contrastive learning has shown strong promise in leveraging unlabeled natural images to produce highly generalizable and discriminative features. However, extending its power to the medical image domain is under-explored and highly non-trivial, since medical images are much less amendable to data augmentations. In contrast, their domain knowledge, as well as multi-modality information, is often crucial. To bridge this gap, we propose an end-to-end semi-supervised cross-modal contrastive learning framework, that simultaneously performs disease classification and localization tasks. The key knob of our framework is a unique positive sampling approach tailored for the medical images, by seamlessly integrating radiomic features as an auxiliary modality. Specifically, we first apply an image encoder to classify the chest X-rays and to generate the image features. We next leverage Grad-CAM to highlight the crucial (abnormal) regions for chest X-rays (even when unannotated), from which we extract radiomic features. The radiomic features are then passed through another dedicated encoder to act as the positive sample for the image features generated from the same chest X-ray. In this way, our framework constitutes a feedback loop for image and radiomic modality features to mutually reinforce each other. Their contrasting yields cross-modality representations that are both robust and interpretable. Extensive experiments on the NIH Chest X-ray dataset demonstrate that our approach outperforms existing baselines in both classification and localization tasks.
• Abstract（参考訳）: これらのタスクの高精度な予測モデルを構築するには、通常、多くの手動で注釈付きラベルとピクセル領域(バウンディングボックス)の異常が必要となる。 しかし、このようなアノテーション、特に境界ボックスを取得するのは高価である。 近年, コントラスト学習は, ラベルのない自然画像を活用して, 高度に一般化し, 識別可能な特徴を生み出すことを強く約束している。 しかしながら、医療画像領域へのパワー拡張は、データの増大に対して医療画像の修正がはるかに少ないため、未調査であり、非常に自明である。 対照的に、彼らのドメイン知識とマルチモダリティ情報はしばしば重要である。 そこで本研究では,このギャップを埋めるために,疾患分類と局所化を同時に行うエンド・ツー・エンドの半教師付きクロスモーダルコントラスト学習フレームワークを提案する。 本フレームワークのキーノブは,放射線学的特徴を補助的モダリティとしてシームレスに統合し,医用画像に適した独自の正のサンプリングアプローチである。 具体的には,まず胸部x線分類と画像特徴生成に画像エンコーダを適用する。 次にGrad-CAMを用いて胸部X線(無注釈でも)の領域を強調し,放射線学的特徴を抽出する。 放射能の特徴は別の専用エンコーダを通過し、同じ胸部x線から生成された画像の特徴の正のサンプルとして機能する。 このように、我々のフレームワークは、画像と放射能のモダリティ機能を相互に強化するためのフィードバックループを構成する。 それらの対比は、ロバストかつ解釈可能な相互モダリティ表現をもたらす。 nih胸部x線データセットに関する広範囲な実験により,我々のアプローチは分類と局所化のタスクにおいて既存のベースラインよりも優れていることが示された。

関連論文リスト

• Introducing Shape Prior Module in Diffusion Model for Medical Image Segmentation [7.7545714516743045]
  拡散確率モデル(DDPM)を利用したVerseDiff-UNetというエンドツーエンドフレームワークを提案する。 我々のアプローチは拡散モデルを標準のU字型アーキテクチャに統合する。 本手法はX線画像から得られた脊椎画像の1つのデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2023-09-12T03:05:00Z)
• Radiomics-Guided Global-Local Transformer for Weakly Supervised Pathology Localization in Chest X-Rays [65.88435151891369]
  Radiomics-Guided Transformer (RGT)は、テキストトグロバル画像情報と、テキストトグロバル情報とを融合する。 RGTは、画像トランスフォーマーブランチ、放射能トランスフォーマーブランチ、および画像と放射線情報を集約する融合層から構成される。
  論文  参考訳（メタデータ） (2022-07-10T06:32:56Z)
• Generative Residual Attention Network for Disease Detection [51.60842580044539]
  本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。 我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。 次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
  論文  参考訳（メタデータ） (2021-10-25T14:15:57Z)
• Contrastive Attention for Automatic Chest X-ray Report Generation [124.60087367316531]
  ほとんどの場合、正常領域が胸部X線像全体を支配し、これらの正常領域の対応する記述が最終報告を支配している。 本稿では,現在の入力画像と通常の画像を比較してコントラスト情報を抽出するContrastive Attention(CA)モデルを提案する。 2つの公開データセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-13T11:20:31Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)
• Using Radiomics as Prior Knowledge for Thorax Disease Classification and Localization in Chest X-rays [14.679677447702653]
  放射能特性を利用して異常分類性能を向上させるためのエンドツーエンドフレームワークであるChexRadiNetを開発した。 我々は、NIH ChestX-ray、CheXpert、MIMIC-CXRの3つの公開データセットを用いてChexRadiNetフレームワークを評価する。
  論文  参考訳（メタデータ） (2020-11-25T04:16:38Z)
• Learning Invariant Feature Representation to Improve Generalization across Chest X-ray Datasets [55.06983249986729]
  我々は、トレーニングデータと同じデータセットでテストすると、ディープラーニングモデルが、異なるソースからデータセットでテストされると、パフォーマンスが低下し始めることを示す。 対戦型トレーニング戦略を用いることで、ネットワークはソース不変表現を学習せざるを得ないことを示す。
  論文  参考訳（メタデータ） (2020-08-04T07:41:15Z)
• Weakly-Supervised Segmentation for Disease Localization in Chest X-Ray Images [0.0]
  医用胸部X線画像のセマンティックセグメンテーションに対する新しいアプローチを提案する。 本手法は肺と胸壁の間の異常な空気量を検出するための胸部X線検査に適用可能である。
  論文  参考訳（メタデータ） (2020-07-01T20:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。