論文の概要: CheXagent: Towards a Foundation Model for Chest X-Ray Interpretation
- arxiv url: http://arxiv.org/abs/2401.12208v1
- Date: Mon, 22 Jan 2024 18:51:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 12:49:33.459496
- Title: CheXagent: Towards a Foundation Model for Chest X-Ray Interpretation
- Title(参考訳): CheXagent: 胸部X線解釈の基礎モデルを目指して
- Authors: Zhihong Chen, Maya Varma, Jean-Benoit Delbrouck, Magdalini Paschali,
Louis Blankemeier, Dave Van Veen, Jeya Maria Jose Valanarasu, Alaa Youssef,
Joseph Paul Cohen, Eduardo Pontes Reis, Emily B. Tsai, Andrew Johnston,
Cameron Olsen, Tanishq Mathew Abraham, Sergios Gatidis, Akshay S. Chaudhari,
Curtis Langlotz
- Abstract要約: 胸部X線 (CXRs) は, 臨床検査において最も頻度の高い画像検査である。
近年,視覚言語基礎モデル(FM)の開発が進み,CXRの自動解釈が可能になった。
- 参考スコア(独自算出の注目度): 21.31741755127183
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chest X-rays (CXRs) are the most frequently performed imaging test in
clinical practice. Recent advances in the development of vision-language
foundation models (FMs) give rise to the possibility of performing automated
CXR interpretation, which can assist physicians with clinical decision-making
and improve patient outcomes. However, developing FMs that can accurately
interpret CXRs is challenging due to the (1) limited availability of
large-scale vision-language datasets in the medical image domain, (2) lack of
vision and language encoders that can capture the complexities of medical data,
and (3) absence of evaluation frameworks for benchmarking the abilities of FMs
on CXR interpretation. In this work, we address these challenges by first
introducing \emph{CheXinstruct} - a large-scale instruction-tuning dataset
curated from 28 publicly-available datasets. We then present \emph{CheXagent} -
an instruction-tuned FM capable of analyzing and summarizing CXRs. To build
CheXagent, we design a clinical large language model (LLM) for parsing
radiology reports, a vision encoder for representing CXR images, and a network
to bridge the vision and language modalities. Finally, we introduce
\emph{CheXbench} - a novel benchmark designed to systematically evaluate FMs
across 8 clinically-relevant CXR interpretation tasks. Extensive quantitative
evaluations and qualitative reviews with five expert radiologists demonstrate
that CheXagent outperforms previously-developed general- and medical-domain FMs
on CheXbench tasks. Furthermore, in an effort to improve model transparency, we
perform a fairness evaluation across factors of sex, race and age to highlight
potential performance disparities. Our project is at
\url{https://stanford-aimi.github.io/chexagent.html}.
- Abstract(参考訳): 胸部X線 (CXRs) は, 臨床検査において最も頻度の高い画像検査である。
視覚言語基礎モデル(fms)の開発における最近の進歩は、医師が臨床意思決定を補助し、患者の予後を改善するcxr自動解釈を行う可能性をもたらす。
しかし,CXRを正確に解釈できるFMの開発は,(1)医療画像領域における大規模ビジョン言語データセットの可用性の限界,(2)医療データの複雑さを捉えるビジョンと言語エンコーダの欠如,(3)CXR解釈におけるFMの能力を評価するための評価フレームワークの欠如など,困難である。
本研究では,28の公開データセットから算出した大規模命令チューニングデータセットである \emph{CheXinstruct} を導入することで,これらの課題に対処する。
次に,CXRの解析と要約が可能な命令調整FMを提案する。
我々はCheXagentを構築するために,放射線学報告を解析するための臨床大言語モデル(LLM),CXR画像を表現するビジョンエンコーダ,ビジョンと言語モダリティをブリッジするネットワークを設計する。
最後に,臨床関連8つのCXR解釈タスクのFMを体系的に評価する新しいベンチマークであるemph{CheXbench}を紹介する。
5人の専門放射線学者による広範囲な定量的評価と質的評価により、CheXagentはCheXbenchタスクにおいて、これまで開発された一般ドメインと医療ドメインのFMよりも優れていることが示された。
さらに,モデルの透明性を高めるために,性,人種,年齢の要因をまたいで公平性評価を行い,潜在的なパフォーマンス格差を強調する。
私たちのプロジェクトは \url{https://stanford-aimi.github.io/chexagent.html}です。
関連論文リスト
- WoLF: Wide-scope Large Language Model Framework for CXR Understanding [8.265578494822087]
胸部X線理解のための広スコープ大言語モデルフレームワークを提案する。
実際の臨床シナリオにおける正確な診断に利用される多面的患者の記録を収集する。
論文 参考訳(メタデータ) (2024-03-19T06:39:23Z) - MLVICX: Multi-Level Variance-Covariance Exploration for Chest X-ray Self-Supervised Representation Learning [6.4136876268620115]
MLVICXは、胸部X線画像からの埋め込みの形でリッチな表現をキャプチャするアプローチである。
自己教師付き胸部X線表現学習におけるMLVICXの性能を示す。
論文 参考訳(メタデータ) (2024-03-18T06:19:37Z) - FluoroSAM: A Language-aligned Foundation Model for X-ray Image Segmentation [11.55858990545478]
我々は、1.6Mの合成X線画像に基づいて、ゼロから訓練されたセグメンテーション・アニーシング・モデルの言語対応版であるFluoroSAMを開発した。
FluoroSAMは0.51と0.79のDICEでテキストのみのプロンプトに基づいて骨質の解剖学的構造を分割することができる。
また、言語アライメントのおかげで、トレーニングセット以外のセグメントクラスへのゼロショットの一般化も可能である。
論文 参考訳(メタデータ) (2024-03-12T20:11:38Z) - Longitudinal Data and a Semantic Similarity Reward for Chest X-Ray
Report Generation [7.586632627817609]
放射線学ワークフローの側面を統合したCXRレポートジェネレータを提案する。
これは、患者の以前のCXR研究から得られる縦断的履歴を条件付けることで、放射線科医のワークフローを模倣する。
提案した強化学習の報奨を生かした。
論文 参考訳(メタデータ) (2023-07-19T05:41:14Z) - XrayGPT: Chest Radiographs Summarization using Medical Vision-Language
Models [60.437091462613544]
我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。
胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。
自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
論文 参考訳(メタデータ) (2023-06-13T17:59:59Z) - Optimising Chest X-Rays for Image Analysis by Identifying and Removing
Confounding Factors [49.005337470305584]
新型コロナウイルス(COVID-19)のパンデミック(パンデミック)の間、新型コロナウイルス(COVID-19)の診断のための緊急設定で実施される画像の量は、臨床用CXRの取得が広範囲に及んだ。
公開データセット内の臨床的に取得されたCXRの変動品質は、アルゴリズムのパフォーマンスに大きな影響を及ぼす可能性がある。
我々は、新型コロナウイルスの胸部X線データセットを前処理し、望ましくないバイアスを取り除くための、シンプルで効果的なステップワイズアプローチを提案する。
論文 参考訳(メタデータ) (2022-08-22T13:57:04Z) - Improving Classification Model Performance on Chest X-Rays through Lung
Segmentation [63.45024974079371]
本稿では, セグメンテーションによる異常胸部X線(CXR)識別性能を向上させるための深層学習手法を提案する。
提案手法は,CXR画像中の肺領域を局所化するための深層ニューラルネットワーク(XLSor)と,大規模CXRデータセットで事前学習した自己教師あり運動量コントラスト(MoCo)モデルのバックボーンを用いたCXR分類モデルである。
論文 参考訳(メタデータ) (2022-02-22T15:24:06Z) - Image Embedding and Model Ensembling for Automated Chest X-Ray
Interpretation [0.0]
我々は、自動胸部X線診断モデルを開発するための機械学習アプローチをいくつか提示および研究する。
特に,chexpertデータセット上で複数の畳み込みニューラルネットワーク(cnn)をトレーニングした。
学習したCNNを用いてCXR画像の埋め込みを計算し、2組のツリーベース分類器を訓練した。
論文 参考訳(メタデータ) (2021-05-05T14:48:59Z) - Variational Knowledge Distillation for Disease Classification in Chest
X-Rays [102.04931207504173]
我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。
提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
論文 参考訳(メタデータ) (2021-03-19T14:13:56Z) - Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for
Thoracic Disease Identification [83.6017225363714]
ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。
胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。
本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
論文 参考訳(メタデータ) (2021-02-26T02:29:30Z) - Multi-Task Driven Explainable Diagnosis of COVID-19 using Chest X-ray
Images [61.24431480245932]
COVID-19 Multi-Task Networkは、新型コロナウイルススクリーニングのためのエンドツーエンドネットワークである。
我々は,ChestXray-14,CheXpertおよび統合型COVID-19データセットから採取した9000個の前頭胸部X線写真から肺領域を手動で注釈した。
このデータベースは研究コミュニティに公開されます。
論文 参考訳(メタデータ) (2020-08-03T12:52:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。