論文の概要: CheXagent: Towards a Foundation Model for Chest X-Ray Interpretation
- arxiv url: http://arxiv.org/abs/2401.12208v1
- Date: Mon, 22 Jan 2024 18:51:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 12:49:33.459496
- Title: CheXagent: Towards a Foundation Model for Chest X-Ray Interpretation
- Title(参考訳): CheXagent: 胸部X線解釈の基礎モデルを目指して
- Authors: Zhihong Chen, Maya Varma, Jean-Benoit Delbrouck, Magdalini Paschali,
Louis Blankemeier, Dave Van Veen, Jeya Maria Jose Valanarasu, Alaa Youssef,
Joseph Paul Cohen, Eduardo Pontes Reis, Emily B. Tsai, Andrew Johnston,
Cameron Olsen, Tanishq Mathew Abraham, Sergios Gatidis, Akshay S. Chaudhari,
Curtis Langlotz
- Abstract要約: 胸部X線 (CXRs) は, 臨床検査において最も頻度の高い画像検査である。
近年,視覚言語基礎モデル(FM)の開発が進み,CXRの自動解釈が可能になった。
- 参考スコア(独自算出の注目度): 21.31741755127183
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chest X-rays (CXRs) are the most frequently performed imaging test in
clinical practice. Recent advances in the development of vision-language
foundation models (FMs) give rise to the possibility of performing automated
CXR interpretation, which can assist physicians with clinical decision-making
and improve patient outcomes. However, developing FMs that can accurately
interpret CXRs is challenging due to the (1) limited availability of
large-scale vision-language datasets in the medical image domain, (2) lack of
vision and language encoders that can capture the complexities of medical data,
and (3) absence of evaluation frameworks for benchmarking the abilities of FMs
on CXR interpretation. In this work, we address these challenges by first
introducing \emph{CheXinstruct} - a large-scale instruction-tuning dataset
curated from 28 publicly-available datasets. We then present \emph{CheXagent} -
an instruction-tuned FM capable of analyzing and summarizing CXRs. To build
CheXagent, we design a clinical large language model (LLM) for parsing
radiology reports, a vision encoder for representing CXR images, and a network
to bridge the vision and language modalities. Finally, we introduce
\emph{CheXbench} - a novel benchmark designed to systematically evaluate FMs
across 8 clinically-relevant CXR interpretation tasks. Extensive quantitative
evaluations and qualitative reviews with five expert radiologists demonstrate
that CheXagent outperforms previously-developed general- and medical-domain FMs
on CheXbench tasks. Furthermore, in an effort to improve model transparency, we
perform a fairness evaluation across factors of sex, race and age to highlight
potential performance disparities. Our project is at
\url{https://stanford-aimi.github.io/chexagent.html}.
- Abstract(参考訳): 胸部X線 (CXRs) は, 臨床検査において最も頻度の高い画像検査である。
視覚言語基礎モデル(fms)の開発における最近の進歩は、医師が臨床意思決定を補助し、患者の予後を改善するcxr自動解釈を行う可能性をもたらす。
しかし,CXRを正確に解釈できるFMの開発は,(1)医療画像領域における大規模ビジョン言語データセットの可用性の限界,(2)医療データの複雑さを捉えるビジョンと言語エンコーダの欠如,(3)CXR解釈におけるFMの能力を評価するための評価フレームワークの欠如など,困難である。
本研究では,28の公開データセットから算出した大規模命令チューニングデータセットである \emph{CheXinstruct} を導入することで,これらの課題に対処する。
次に,CXRの解析と要約が可能な命令調整FMを提案する。
我々はCheXagentを構築するために,放射線学報告を解析するための臨床大言語モデル(LLM),CXR画像を表現するビジョンエンコーダ,ビジョンと言語モダリティをブリッジするネットワークを設計する。
最後に,臨床関連8つのCXR解釈タスクのFMを体系的に評価する新しいベンチマークであるemph{CheXbench}を紹介する。
5人の専門放射線学者による広範囲な定量的評価と質的評価により、CheXagentはCheXbenchタスクにおいて、これまで開発された一般ドメインと医療ドメインのFMよりも優れていることが示された。
さらに,モデルの透明性を高めるために,性,人種,年齢の要因をまたいで公平性評価を行い,潜在的なパフォーマンス格差を強調する。
私たちのプロジェクトは \url{https://stanford-aimi.github.io/chexagent.html}です。
関連論文リスト
- CXR-Agent: Vision-language models for chest X-ray interpretation with uncertainty aware radiology reporting [0.0]
胸部X線解釈のための基礎的視覚言語モデルとして, 一般に公開されている技術の現状を評価した。
視覚言語モデルは、しばしば自信のある言語と幻覚し、臨床解釈を遅くする。
我々は,CheXagentの線形プローブとBioViL-Tのフレーズグラウンドティングツールを用いて,エージェントベースの視覚言語によるレポート生成手法を開発した。
論文 参考訳(メタデータ) (2024-07-11T18:39:19Z) - Self-supervised vision-langage alignment of deep learning representations for bone X-rays analysis [53.809054774037214]
本稿では, 骨X線とフレンチレポートを組み合わせることで, 視覚言語による事前訓練を活用することを提案する。
骨X線表現にまつわる埋め込み空間を形成するために、フランスの報告を統合する最初の研究である。
論文 参考訳(メタデータ) (2024-05-14T19:53:20Z) - WoLF: Wide-scope Large Language Model Framework for CXR Understanding [8.265578494822087]
胸部X線理解のための広スコープ大言語モデルフレームワークを提案する。
実際の臨床シナリオにおける正確な診断に利用される多面的患者の記録を収集する。
論文 参考訳(メタデータ) (2024-03-19T06:39:23Z) - MLVICX: Multi-Level Variance-Covariance Exploration for Chest X-ray Self-Supervised Representation Learning [6.4136876268620115]
MLVICXは、胸部X線画像からの埋め込みの形でリッチな表現をキャプチャするアプローチである。
自己教師付き胸部X線表現学習におけるMLVICXの性能を示す。
論文 参考訳(メタデータ) (2024-03-18T06:19:37Z) - Longitudinal Data and a Semantic Similarity Reward for Chest X-Ray Report Generation [7.586632627817609]
放射線学者は、解釈と報告を必要とする胸部X線(CXR)の量の増加のために、高いバーンアウト率に直面している。
提案するCXRレポートジェネレータは,ワークフローの要素を統合し,強化学習のための新たな報酬を導入する。
本研究の結果から, 提案モデルでは, 最新技術モデルよりも, 放射線学者の報告に適合した報告が生成されることがわかった。
論文 参考訳(メタデータ) (2023-07-19T05:41:14Z) - XrayGPT: Chest Radiographs Summarization using Medical Vision-Language
Models [60.437091462613544]
我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。
胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。
自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
論文 参考訳(メタデータ) (2023-06-13T17:59:59Z) - Act Like a Radiologist: Radiology Report Generation across Anatomical Regions [50.13206214694885]
X-RGenは6つの解剖学的領域にわたる放射線学者によるレポート生成フレームワークである。
X-RGenでは、ヒトの放射線学者の行動を模倣し、これらを4つの主要な段階に分解する。
画像エンコーダの認識能力は,各領域にまたがる画像やレポートを分析して向上する。
論文 参考訳(メタデータ) (2023-05-26T07:12:35Z) - Optimising Chest X-Rays for Image Analysis by Identifying and Removing
Confounding Factors [49.005337470305584]
新型コロナウイルス(COVID-19)のパンデミック(パンデミック)の間、新型コロナウイルス(COVID-19)の診断のための緊急設定で実施される画像の量は、臨床用CXRの取得が広範囲に及んだ。
公開データセット内の臨床的に取得されたCXRの変動品質は、アルゴリズムのパフォーマンスに大きな影響を及ぼす可能性がある。
我々は、新型コロナウイルスの胸部X線データセットを前処理し、望ましくないバイアスを取り除くための、シンプルで効果的なステップワイズアプローチを提案する。
論文 参考訳(メタデータ) (2022-08-22T13:57:04Z) - Improving Classification Model Performance on Chest X-Rays through Lung
Segmentation [63.45024974079371]
本稿では, セグメンテーションによる異常胸部X線(CXR)識別性能を向上させるための深層学習手法を提案する。
提案手法は,CXR画像中の肺領域を局所化するための深層ニューラルネットワーク(XLSor)と,大規模CXRデータセットで事前学習した自己教師あり運動量コントラスト(MoCo)モデルのバックボーンを用いたCXR分類モデルである。
論文 参考訳(メタデータ) (2022-02-22T15:24:06Z) - Image Embedding and Model Ensembling for Automated Chest X-Ray
Interpretation [0.0]
我々は、自動胸部X線診断モデルを開発するための機械学習アプローチをいくつか提示および研究する。
特に,chexpertデータセット上で複数の畳み込みニューラルネットワーク(cnn)をトレーニングした。
学習したCNNを用いてCXR画像の埋め込みを計算し、2組のツリーベース分類器を訓練した。
論文 参考訳(メタデータ) (2021-05-05T14:48:59Z) - Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for
Thoracic Disease Identification [83.6017225363714]
ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。
胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。
本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
論文 参考訳(メタデータ) (2021-02-26T02:29:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。