論文の概要: Knowledge-enhanced Pre-training for Auto-diagnosis of Chest Radiology
Images
- arxiv url: http://arxiv.org/abs/2302.14042v1
- Date: Mon, 27 Feb 2023 18:53:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-28 14:14:56.143716
- Title: Knowledge-enhanced Pre-training for Auto-diagnosis of Chest Radiology
Images
- Title(参考訳): 胸部x線画像の自動診断のための知識強化事前訓練
- Authors: Xiaoman Zhang, Chaoyi Wu, Ya Zhang, Yanfeng Wang, Weidi Xie
- Abstract要約: 胸部X線画像における自己診断のための知識強調型視覚言語事前訓練手法を提案する。
このアルゴリズムはKnowledge-enhanced Auto diagnosis(KAD)と呼ばれ、まず既存の医療知識グラフに基づいて知識エンコーダを訓練する。
3つの外部X線データセットに対するKADの有効性を実験的に検証した。
- 参考スコア(独自算出の注目度): 40.52487429030841
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite of the success of multi-modal foundation models pre-trained on
large-scale data in natural language understanding and vision recognition, its
counterpart in medical and clinical domains remains preliminary, due to the
fine-grained recognition nature of the medical tasks with high demands on
domain knowledge. Here, we propose a knowledge-enhanced vision-language
pre-training approach for auto-diagnosis on chest X-ray images. The algorithm,
named Knowledge-enhanced Auto Diagnosis~(KAD), first trains a knowledge encoder
based on an existing medical knowledge graph, i.e., learning neural embeddings
of the definitions and relationships between medical concepts and then
leverages the pre-trained knowledge encoder to guide the visual representation
learning with paired chest X-rays and radiology reports. We experimentally
validate KAD's effectiveness on three external X-ray datasets. The zero-shot
performance of KAD is not only comparable to that of the fully-supervised
models but also, for the first time, superior to the average of three expert
radiologists for three (out of five) pathologies with statistical significance.
When the few-shot annotation is available, KAD also surpasses all existing
approaches in finetuning settings, demonstrating the potential for application
in different clinical scenarios.
- Abstract(参考訳): 自然言語の理解と視覚認識における大規模データに基づいて事前訓練されたマルチモーダル基礎モデルの成功にもかかわらず、医学や臨床の分野では、ドメイン知識に高い要求がある医療タスクのきめ細かい認識の性質のため、まだ予備的のままである。
本稿では,胸部X線画像の自動診断のための知識強調型視覚言語事前訓練手法を提案する。
このアルゴリズムはknowledge-enhanced auto diagnostic~(kad)と呼ばれ、まず既存の医学知識グラフに基づいて知識エンコーダを訓練する。すなわち、医学概念の定義と関係の神経埋め込みを学習する。
3つの外部X線データセットに対するKADの有効性を実験的に検証した。
kadのゼロショット性能は、完全に監督されたモデルに匹敵するだけでなく、統計的に有意な3つの(5つのうちの)病理学において、3人の専門家放射線学者の平均よりも初めて優れている。
数ショットのアノテーションが利用できる場合、KADは設定の微調整において既存のすべてのアプローチを越え、異なる臨床シナリオにおけるアプリケーションの可能性を示す。
関連論文リスト
- A Concept-based Interpretable Model for the Diagnosis of Choroid
Neoplasias using Multimodal Data [28.632437578685842]
我々は成人で最も多い眼がんである脈絡膜新生症(5.1%)に焦点を当てた。
本研究は,3種類の脈絡膜腫瘍を識別する概念に基づく解釈可能なモデルを提案する。
注目すべきは、このモデルがブラックボックスモデルに匹敵するF1スコアの0.91を達成する一方で、ジュニア医師の診断精度を42%向上させることである。
論文 参考訳(メタデータ) (2024-03-08T07:15:53Z) - ChatRadio-Valuer: A Chat Large Language Model for Generalizable
Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。
本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。
ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
論文 参考訳(メタデータ) (2023-10-08T17:23:17Z) - Towards Generalist Foundation Model for Radiology by Leveraging
Web-scale 2D&3D Medical Data [66.9359934608229]
この研究はRadFMと呼ばれるRadlogy Foundation Modelの開発を開始することを目的としている。
われわれの知る限りでは、これは2Dスキャンと3Dスキャンによる、最初の大規模で高品質な医療用ビジュアル言語データセットである。
本稿では,モダリティ認識,疾患診断,視覚的質問応答,レポート生成,合理的診断の5つのタスクからなる新しい評価ベンチマークRadBenchを提案する。
論文 参考訳(メタデータ) (2023-08-04T17:00:38Z) - XrayGPT: Chest Radiographs Summarization using Medical Vision-Language
Models [60.437091462613544]
我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。
胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。
自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
論文 参考訳(メタデータ) (2023-06-13T17:59:59Z) - MedKLIP: Medical Knowledge Enhanced Language-Image Pre-Training in
Radiology [40.52487429030841]
医用医用視覚言語事前訓練を専門知識と組み合わせて行うことを検討する。
まず, 生の報告を直接処理する既存の作業とは異なり, 医療関連情報を抽出するために, 新規な三重項抽出モジュールを採用する。
第2に,医療分野における豊富な知識を活用するために,知識ベースを問合せすることで,エンティティ翻訳を伴う新しい三重項符号化モジュールを提案する。
第3に、トランスフォーマーを用いた融合モデルを用いて、画像パッチレベルでの実体記述と視覚信号との空間的整合を図り、診断を可能にすることを提案する。
論文 参考訳(メタデータ) (2023-01-05T18:55:09Z) - Medical Image Understanding with Pretrained Vision Language Models: A
Comprehensive Study [8.547751745702156]
我々は、事前学習された視覚言語モデル(VLM)から知識を引き出すための、よく設計された医療プロンプトが鍵であることを示している。
医用プロンプトの自動生成のための3つのアプローチを開発し,専門家レベルの医療知識と画像特異的情報を微粒な接地プロンプトに注入する。
論文 参考訳(メタデータ) (2022-09-30T15:06:13Z) - Exploring and Distilling Posterior and Prior Knowledge for Radiology
Report Generation [55.00308939833555]
PPKEDには、Posterior Knowledge Explorer (PoKE), Prior Knowledge Explorer (PrKE), Multi-domain Knowledge Distiller (MKD)の3つのモジュールが含まれている。
PoKEは後部知識を探求し、視覚データのバイアスを軽減するために明確な異常な視覚領域を提供する。
PrKEは、以前の医学知識グラフ(医学知識)と以前の放射線学レポート(作業経験)から以前の知識を探り、テキストデータのバイアスを軽減する。
論文 参考訳(メタデータ) (2021-06-13T11:10:02Z) - Variational Knowledge Distillation for Disease Classification in Chest
X-Rays [102.04931207504173]
我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。
提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
論文 参考訳(メタデータ) (2021-03-19T14:13:56Z) - Localization of Critical Findings in Chest X-Ray without Local
Annotations Using Multi-Instance Learning [0.0]
ディープラーニングモデルは説明責任の欠如に苦しむことが多い。
ディープラーニングモデルは、ピクセルレベルラベルやバウンディングボックス座標のような、局所的なアノテートされたトレーニングデータを必要とする。
本研究では,マルチインスタンス学習に基づく解釈可能なDLアルゴリズムを用いて,これらの欠点に対処する。
論文 参考訳(メタデータ) (2020-01-23T21:29:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。