論文の概要: Cross Modal Global Local Representation Learning from Radiology Reports
and X-Ray Chest Images
- arxiv url: http://arxiv.org/abs/2301.10951v1
- Date: Thu, 26 Jan 2023 06:02:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-27 14:09:41.157149
- Title: Cross Modal Global Local Representation Learning from Radiology Reports
and X-Ray Chest Images
- Title（参考訳）: 放射線画像とx線胸部画像からのクロスモーダルグローバル局所表現学習
- Authors: Nathan Hadjiyski, Ali Vosoughi, and Axel Wismueller
- Abstract要約: ディープラーニングモデルは、実際の問題にうまく適用できますが、これらのモデルのほとんどをトレーニングするには、大量のデータが必要です。
最近の手法では言語とビジョンを使用しているが、残念ながら一般には公開されていないデータセットに依存している。
本稿では,放射線学におけるマルチモーダル言語ビジョン領域のさらなる研究の道を開く。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning models can be applied successfully in real-work problems;
however, training most of these models requires massive data. Recent methods
use language and vision, but unfortunately, they rely on datasets that are not
usually publicly available. Here we pave the way for further research in the
multimodal language-vision domain for radiology. In this paper, we train a
representation learning method that uses local and global representations of
the language and vision through an attention mechanism and based on the
publicly available Indiana University Radiology Report (IU-RR) dataset.
Furthermore, we use the learned representations to diagnose five lung
pathologies: atelectasis, cardiomegaly, edema, pleural effusion, and
consolidation. Finally, we use both supervised and zero-shot classifications to
extensively analyze the performance of the representation learning on the IU-RR
dataset. Average Area Under the Curve (AUC) is used to evaluate the accuracy of
the classifiers for classifying the five lung pathologies. The average AUC for
classifying the five lung pathologies on the IU-RR test set ranged from 0.85 to
0.87 using the different training datasets, namely CheXpert and CheXphoto.
These results compare favorably to other studies using UI-RR. Extensive
experiments confirm consistent results for classifying lung pathologies using
the multimodal global local representations of language and vision information.
- Abstract（参考訳）: ディープラーニングモデルは、実際の問題にうまく適用できるが、これらのモデルのトレーニングには大量のデータが必要である。
最近の手法では言語とビジョンを使用するが、残念ながら通常は公開されていないデータセットに依存している。
ここでは、放射線学のマルチモーダル言語ビジョン領域におけるさらなる研究の道を開く。
本稿では,インディアナ大学放射線学レポート(IU-RR)データセットに基づいて,言語と視覚の局所的およびグローバルな表現を用いた表現学習手法を訓練する。
さらに,atelectasis,cardiomegaly,浮腫,胸水,圧密の5つの肺病理の診断に,学習表現を用いた。
最後に、教師付き分類とゼロショット分類の両方を用いて、IU-RRデータセット上での表現学習の性能を広範囲に分析する。
5つの肺病理を分類するための分類器の精度を評価するために、曲線下平均領域 (auc) が用いられる。
IU-RRテストセットの5つの肺病理を分類する平均的なAUCは、CheXpertとCheXphotoという異なるトレーニングデータセットを使用して0.85から0.87の範囲であった。
これらの結果はUI-RRを用いた他の研究と比較した。
広汎な実験により,多モーダルな局所的言語表現と視覚情報を用いた肺病理分類の一貫性が確認された。
関連論文リスト
- Multilabel Classification for Lung Disease Detection: Integrating Deep Learning and Natural Language Processing [0.0]
本稿では,多ラベル肺疾患分類のためのトランスファーラーニングモデルを提案する。
提案モデルはF1スコア0.69、AUROC0.86を達成し、臨床応用の可能性を示した。
論文 参考訳（メタデータ） (2024-12-16T05:14:08Z) - MLVICX: Multi-Level Variance-Covariance Exploration for Chest X-ray Self-Supervised Representation Learning [6.4136876268620115]
MLVICXは、胸部X線画像からの埋め込みの形でリッチな表現をキャプチャするアプローチである。
自己教師付き胸部X線表現学習におけるMLVICXの性能を示す。
論文 参考訳（メタデータ） (2024-03-18T06:19:37Z) - ChatRadio-Valuer: A Chat Large Language Model for Generalizable
Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。
本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。
ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
論文 参考訳（メタデータ） (2023-10-08T17:23:17Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳（メタデータ） (2023-03-30T18:20:00Z) - Data-Efficient Vision Transformers for Multi-Label Disease
Classification on Chest Radiographs [55.78588835407174]
視覚変換器(ViT)は一般的な画像の分類性能が高いにもかかわらず、このタスクには適用されていない。
ViTは、畳み込みではなくパッチベースの自己アテンションに依存しており、CNNとは対照的に、ローカル接続に関する事前の知識は存在しない。
以上の結果から,ViTとCNNのパフォーマンスはViTの利点に匹敵するものの,DeiTsはトレーニング用に適度に大規模なデータセットが利用可能であれば,前者よりも優れることがわかった。
論文 参考訳（メタデータ） (2022-08-17T09:07:45Z) - Improving Classification Model Performance on Chest X-Rays through Lung
Segmentation [63.45024974079371]
本稿では, セグメンテーションによる異常胸部X線(CXR)識別性能を向上させるための深層学習手法を提案する。
提案手法は,CXR画像中の肺領域を局所化するための深層ニューラルネットワーク(XLSor)と,大規模CXRデータセットで事前学習した自己教師あり運動量コントラスト(MoCo)モデルのバックボーンを用いたCXR分類モデルである。
論文 参考訳（メタデータ） (2022-02-22T15:24:06Z) - Debiasing pipeline improves deep learning model generalization for X-ray
based lung nodule detection [11.228544549618068]
肺がんは世界中でがん死の主要な原因であり、予後は早期診断に依存している。
胸部X線像を均質化し,除染する画像前処理パイプラインは,内部分類と外部一般化の両方を改善することができることを示す。
進化的プルーニング機構は、一般に利用可能な肺結節X線データセットから最も情報性の高い画像に基づいて結節検出深層学習モデルを訓練するために用いられる。
論文 参考訳（メタデータ） (2022-01-24T10:08:07Z) - Chest x-ray automated triage: a semiologic approach designed for
clinical implementation, exploiting different types of labels through a
combination of four Deep Learning architectures [83.48996461770017]
本研究では,異なる畳み込みアーキテクチャの後期融合に基づく深層学習手法を提案する。
公開胸部x線画像と機関アーカイブを組み合わせたトレーニングデータセットを4つ構築した。
4つの異なるディープラーニングアーキテクチャをトレーニングし、それらのアウトプットとレイトフュージョン戦略を組み合わせることで、統一されたツールを得ました。
論文 参考訳（メタデータ） (2020-12-23T14:38:35Z) - Learning Invariant Feature Representation to Improve Generalization
across Chest X-ray Datasets [55.06983249986729]
我々は、トレーニングデータと同じデータセットでテストすると、ディープラーニングモデルが、異なるソースからデータセットでテストされると、パフォーマンスが低下し始めることを示す。
対戦型トレーニング戦略を用いることで、ネットワークはソース不変表現を学習せざるを得ないことを示す。
論文 参考訳（メタデータ） (2020-08-04T07:41:15Z) - Exploration of Interpretability Techniques for Deep COVID-19
Classification using Chest X-ray Images [10.01138352319106]
5種類のディープラーニングモデル(ResNet18、ResNet34、InceptionV3、InceptionResNetV2、DenseNet161)とそれらのEnsembleは、Chest X-Ray画像を用いて、新型コロナウイルス、肺炎、健康な被験者を分類するために使用されている。
新型コロナウイルスの分類における平均的なMicro-F1スコアは0.66から0.875の範囲で、ネットワークモデルのアンサンブルは0.89である。
論文 参考訳（メタデータ） (2020-06-03T22:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。