Fugu-MT 論文翻訳(概要): CXR-Agent: Vision-language models for chest X-ray interpretation with uncertainty aware radiology reporting

論文の概要: CXR-Agent: Vision-language models for chest X-ray interpretation with uncertainty aware radiology reporting

arxiv url: http://arxiv.org/abs/2407.08811v1
Date: Thu, 11 Jul 2024 18:39:19 GMT
ステータス: 処理完了
システム内更新日: 2024-07-16 01:46:09.544297
Title: CXR-Agent: Vision-language models for chest X-ray interpretation with uncertainty aware radiology reporting
Title（参考訳）: CXR-Agent:不確実性を考慮した胸部X線解釈のための視覚言語モデル
Authors: Naman Sharma,
Abstract要約: 胸部X線解釈のための基礎的視覚言語モデルとして, 一般に公開されている技術の現状を評価した。視覚言語モデルは、しばしば自信のある言語と幻覚し、臨床解釈を遅くする。我々は,CheXagentの線形プローブとBioViL-Tのフレーズグラウンドティングツールを用いて,エージェントベースの視覚言語によるレポート生成手法を開発した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Recently large vision-language models have shown potential when interpreting complex images and generating natural language descriptions using advanced reasoning. Medicine's inherently multimodal nature incorporating scans and text-based medical histories to write reports makes it conducive to benefit from these leaps in AI capabilities. We evaluate the publicly available, state of the art, foundational vision-language models for chest X-ray interpretation across several datasets and benchmarks. We use linear probes to evaluate the performance of various components including CheXagent's vision transformer and Q-former, which outperform the industry-standard Torch X-ray Vision models across many different datasets showing robust generalisation capabilities. Importantly, we find that vision-language models often hallucinate with confident language, which slows down clinical interpretation. Based on these findings, we develop an agent-based vision-language approach for report generation using CheXagent's linear probes and BioViL-T's phrase grounding tools to generate uncertainty-aware radiology reports with pathologies localised and described based on their likelihood. We thoroughly evaluate our vision-language agents using NLP metrics, chest X-ray benchmarks and clinical evaluations by developing an evaluation platform to perform a user study with respiratory specialists. Our results show considerable improvements in accuracy, interpretability and safety of the AI-generated reports. We stress the importance of analysing results for normal and abnormal scans separately. Finally, we emphasise the need for larger paired (scan and report) datasets alongside data augmentation to tackle overfitting seen in these large vision-language models.
Abstract（参考訳）: 近年、複雑な画像の解釈や、高度な推論を用いた自然言語記述の生成において、大きな視覚言語モデルが可能性を示している。医学の本質的にマルチモーダルな性質は、スキャンやテキストベースの医療履歴をレポートに取り入れることで、これらのAI能力の飛躍の恩恵を受けることができる。胸部X線を複数のデータセットやベンチマークで解釈するための、公開、最先端、基礎的な視覚言語モデルを評価する。我々は線形プローブを用いて、CheXagentのビジョントランスフォーマーやQフォーマーなどの様々なコンポーネントの性能を評価し、業界標準のトーチX線ビジョンモデルより優れている。重要なことに、視覚言語モデルは、しばしば自信のある言語に幻覚し、臨床解釈を遅くする。これらの知見に基づいて,CheXagentの線形プローブとBioViL-Tの句接地ツールを用いたエージェントベース視覚言語によるレポート生成手法を開発した。 NLP測定値,胸部X線検査値,臨床評価値を用いて視覚言語エージェントを徹底的に評価し,呼吸専門医によるユーザスタディを実施するための評価プラットフォームを開発した。その結果,AIレポートの精度,解釈可能性,安全性が大幅に向上した。正常検診と異常検診を別々に行うことの重要性を強調した。最後に、これらの大きなビジョン言語モデルに見られる過適合に対処するために、データ拡張とともに、より大きなペア(スキャンとレポート)データセットの必要性を強調します。

関連論文リスト

D-Rax: Domain-specific Radiologic assistant leveraging multi-modal data and eXpert model predictions [8.874099055563228]
ドメイン固有の対話型無線支援ツールD-Raxを提案する。我々は胸部X線(CXR)画像の会話解析を強化し,放射線学的報告を支援する。オープン・エンド・会話とクローズド・会話の双方において,反応の統計的に有意な改善が認められた。
論文参考訳（メタデータ） (2024-07-02T18:43:10Z)
Self-supervised vision-langage alignment of deep learning representations for bone X-rays analysis [53.809054774037214]
本稿では, 骨X線とフレンチレポートを組み合わせることで, 視覚言語による事前訓練を活用することを提案する。骨X線表現にまつわる埋め込み空間を形成するために、フランスの報告を統合する最初の研究である。
論文参考訳（メタデータ） (2024-05-14T19:53:20Z)
Application Of Vision-Language Models For Assessing Osteoarthritis Disease Severity [0.43431539537721414]
変形性関節症(OA)は、正確な診断方法を必要とする世界的な健康上の課題である。 OAアセスメントのための既存のディープラーニングモデルは、単一タスクシステムである。本研究では,X線画像とそれに対応するレポートを用いて,視覚言語処理モデルを用いてOA重大度を予測する。
論文参考訳（メタデータ） (2024-01-12T02:43:58Z)
Radiology Report Generation Using Transformers Conditioned with Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文参考訳（メタデータ） (2023-11-18T14:52:26Z)
Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report Generation [47.250147322130545]
画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
論文参考訳（メタデータ） (2023-11-18T14:37:53Z)
ChatRadio-Valuer: A Chat Large Language Model for Generalizable Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。 ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
論文参考訳（メタデータ） (2023-10-08T17:23:17Z)
XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models [60.437091462613544]
我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
論文参考訳（メタデータ） (2023-06-13T17:59:59Z)
Multi-Modal Perceiver Language Model for Outcome Prediction in Emergency Department [0.03088120935391119]
主訴のテキスト情報とトリアージで記録されたバイタルサインに基づいて, 病院救急部門における結果予測と患者トリアージに関心がある。我々は、いくつかのアプリケーションで有望な結果を示すモダリティに依存しないトランスフォーマーベースのモデルであるPerceiverを適応する。実験では,テキストやバイタルサインのみを訓練したモデルと比較して,変異モダリティが予測性能を向上させることを示した。
論文参考訳（メタデータ） (2023-04-03T06:32:00Z)
Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文参考訳（メタデータ） (2023-03-30T18:20:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。