論文の概要: Improving Pneumonia Localization via Cross-Attention on Medical Images
and Reports
- arxiv url: http://arxiv.org/abs/2110.03094v1
- Date: Wed, 6 Oct 2021 22:47:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 15:30:08.202901
- Title: Improving Pneumonia Localization via Cross-Attention on Medical Images
and Reports
- Title（参考訳）: 医療画像におけるクロスアテンションによる肺炎の局在改善と報告
- Authors: Riddhish Bhalodia and Ali Hatamizadeh and Leo Tam and Ziyue Xu and
Xiaosong Wang and Evrim Turkbey and Daguang Xu
- Abstract要約: 本稿では,トレーニング中の医療報告のエンコード情報を活用し,より優れたローカライゼーションを実現するための,弱教師付き注目駆動型深層学習モデルを提案する。
また,本モデルでは,肺炎に関連する属性の分類を行い,管理のために医療報告から抽出した。
本稿では,胸部X線データを用いてモデルを探索,解析し,テキスト情報の導入が肺炎の局在を改善することを質的かつ定量的に示す。
- 参考スコア（独自算出の注目度）: 9.034599866957945
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Localization and characterization of diseases like pneumonia are primary
steps in a clinical pipeline, facilitating detailed clinical diagnosis and
subsequent treatment planning. Additionally, such location annotated datasets
can provide a pathway for deep learning models to be used for downstream tasks.
However, acquiring quality annotations is expensive on human resources and
usually requires domain expertise. On the other hand, medical reports contain a
plethora of information both about pneumonia characteristics and its location.
In this paper, we propose a novel weakly-supervised attention-driven deep
learning model that leverages encoded information in medical reports during
training to facilitate better localization. Our model also performs
classification of attributes that are associated to pneumonia and extracted
from medical reports for supervision. Both the classification and localization
are trained in conjunction and once trained, the model can be utilized for both
the localization and characterization of pneumonia using only the input image.
In this paper, we explore and analyze the model using chest X-ray datasets and
demonstrate qualitatively and quantitatively that the introduction of textual
information improves pneumonia localization. We showcase quantitative results
on two datasets, MIMIC-CXR and Chest X-ray-8, and we also showcase severity
characterization on the COVID-19 dataset.
- Abstract（参考訳）: 肺炎などの疾患の局所化と特徴付けは、臨床パイプラインにおける主要なステップであり、詳細な臨床診断とその後の治療計画を容易にする。
さらに、そのようなロケーションアノテートされたデータセットは、下流タスクに使用するディープラーニングモデルのためのパスを提供することができる。
しかし、品質アノテーションの取得は人件費がかかるため、通常はドメインの専門知識を必要とする。
一方,医療報告には肺炎の特徴とその位置に関する情報が多数含まれている。
本稿では,トレーニング中の医療報告のエンコード情報を活用し,より優れたローカライゼーションを実現するための,弱教師付き注目駆動型深層学習モデルを提案する。
また,本モデルでは,肺炎に関連する属性の分類を行い,管理のために医療報告から抽出した。
分類と局所化は共に訓練され、一度訓練されると、入力画像のみを用いて、肺炎の局在化と特徴付けの両方に利用できる。
本稿では,胸部x線データを用いたモデルの検討を行い,テキスト情報の導入により肺炎の局在性が向上することを示す。
我々はMIMIC-CXRとChest X-ray-8の2つのデータセットで定量的な結果を示し、また、COVID-19データセットで重篤な特徴を示す。
関連論文リスト
- Towards reliable respiratory disease diagnosis based on cough sounds and vision transformers [14.144599890583308]
本稿では,大規模コークスデータセットを用いた自己教師型学習と教師型学習を併用したコークス病分類手法を提案する。
提案手法は、新型コロナウイルスの診断のための2つのベンチマークデータセットと、AUROC 92.5% の COPD/non-COPD 分類のためのプロプライエタリデータセットにおいて、先行技術よりも一貫して優れていることを示す実験結果を得た。
論文 参考訳（メタデータ） (2024-08-28T09:40:40Z) - Self-supervised vision-langage alignment of deep learning representations for bone X-rays analysis [53.809054774037214]
本稿では, 骨X線とフレンチレポートを組み合わせることで, 視覚言語による事前訓練を活用することを提案する。
骨X線表現にまつわる埋め込み空間を形成するために、フランスの報告を統合する最初の研究である。
論文 参考訳（メタデータ） (2024-05-14T19:53:20Z) - Classifying Cancer Stage with Open-Source Clinical Large Language Models [0.35998666903987897]
オープンソースの臨床大言語モデル(LLMs)は、実世界の病理報告から病理組織学的腫瘍-リンパ節転移(pTNM)のステージング情報を抽出することができる。
以上より, LLMは腫瘍 (T) 分類においてサブパーパフォーマンスを示すが, プロンプト戦略の適切な適用により, 転移 (M) では同等の性能を示し, Node (N) 分類では性能が向上することが示唆された。
論文 参考訳（メタデータ） (2024-04-02T02:30:47Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳（メタデータ） (2023-03-30T18:20:00Z) - Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。
提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
論文 参考訳（メタデータ） (2022-09-28T10:27:10Z) - Deep Pneumonia: Attention-Based Contrastive Learning for
Class-Imbalanced Pneumonia Lesion Recognition in Chest X-rays [11.229472535033558]
Intention-based Contrastive Learning for Class-Imbalanced X-ray Pneumonia Lesion Recognitionを提案する。
提案手法は, 医師がより正確な肺炎の診断を行えるように, 信頼性の高いコンピュータ支援型肺炎診断システムとして利用することができる。
論文 参考訳（メタデータ） (2022-07-23T02:28:37Z) - MMLN: Leveraging Domain Knowledge for Multimodal Diagnosis [10.133715767542386]
肺疾患診断のための知識駆動型およびデータ駆動型フレームワークを提案する。
本研究は, 臨床医学ガイドラインに従って診断規則を定式化し, テキストデータから規則の重みを学習する。
テキストと画像データからなるマルチモーダル融合は、肺疾患の限界確率を推定するために設計されている。
論文 参考訳（メタデータ） (2022-02-09T04:12:30Z) - CoRSAI: A System for Robust Interpretation of CT Scans of COVID-19
Patients Using Deep Learning [133.87426554801252]
我々は,深部畳み込み神経網のアンサンブルを用いた肺CTスキャンのセグメンテーションによるアプローチを採用した。
本モデルを用いて, 病変の分類, 患者の動態の評価, 病変による肺の相対体積の推定, 肺の損傷ステージの評価が可能となった。
論文 参考訳（メタデータ） (2021-05-25T12:06:55Z) - Variational Knowledge Distillation for Disease Classification in Chest
X-Rays [102.04931207504173]
我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。
提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
論文 参考訳（メタデータ） (2021-03-19T14:13:56Z) - Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype
Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。
新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。
我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文 参考訳（メタデータ） (2020-09-02T02:50:30Z) - Localization of Critical Findings in Chest X-Ray without Local
Annotations Using Multi-Instance Learning [0.0]
ディープラーニングモデルは説明責任の欠如に苦しむことが多い。
ディープラーニングモデルは、ピクセルレベルラベルやバウンディングボックス座標のような、局所的なアノテートされたトレーニングデータを必要とする。
本研究では,マルチインスタンス学習に基づく解釈可能なDLアルゴリズムを用いて,これらの欠点に対処する。
論文 参考訳（メタデータ） (2020-01-23T21:29:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。