論文の概要: D-Rax: Domain-specific Radiologic assistant leveraging multi-modal data and eXpert model predictions

• arxiv url: http://arxiv.org/abs/2407.02604v1
• Date: Tue, 2 Jul 2024 18:43:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 18:24:13.191674
• Title: D-Rax: Domain-specific Radiologic assistant leveraging multi-modal data and eXpert model predictions
• Title（参考訳）: D-Rax:マルチモーダルデータとeXpertモデル予測を利用したドメイン固有無線アシスタント
• Authors: Hareem Nisar, Syed Muhammad Anwar, Zhifan Jiang, Abhijeet Parida, Vishwesh Nath, Holger R. Roth, Marius George Linguraru,
• Abstract要約: ドメイン固有の対話型無線支援ツールD-Raxを提案する。 我々は胸部X線(CXR)画像の会話解析を強化し,放射線学的報告を支援する。 オープン・エンド・会話とクローズド・会話の双方において,反応の統計的に有意な改善が認められた。
• 参考スコア（独自算出の注目度）: 8.874099055563228
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large vision language models (VLMs) have progressed incredibly from research to applicability for general-purpose use cases. LLaVA-Med, a pioneering large language and vision assistant for biomedicine, can perform multi-modal biomedical image and data analysis to provide a natural language interface for radiologists. While it is highly generalizable and works with multi-modal data, it is currently limited by well-known challenges that exist in the large language model space. Hallucinations and imprecision in responses can lead to misdiagnosis which currently hinder the clinical adaptability of VLMs. To create precise, user-friendly models in healthcare, we propose D-Rax -- a domain-specific, conversational, radiologic assistance tool that can be used to gain insights about a particular radiologic image. In this study, we enhance the conversational analysis of chest X-ray (CXR) images to support radiological reporting, offering comprehensive insights from medical imaging and aiding in the formulation of accurate diagnosis. D-Rax is achieved by fine-tuning the LLaVA-Med architecture on our curated enhanced instruction-following data, comprising of images, instructions, as well as disease diagnosis and demographic predictions derived from MIMIC-CXR imaging data, CXR-related visual question answer (VQA) pairs, and predictive outcomes from multiple expert AI models. We observe statistically significant improvement in responses when evaluated for both open and close-ended conversations. Leveraging the power of state-of-the-art diagnostic models combined with VLMs, D-Rax empowers clinicians to interact with medical images using natural language, which could potentially streamline their decision-making process, enhance diagnostic accuracy, and conserve their time.
• Abstract（参考訳）: 大規模視覚言語モデル(VLM)は、研究から汎用ユースケースへの適用に至るまで、驚くほど進歩している。 LLaVA-Medは、バイオメディシンのための先駆的な大規模言語とビジョンアシスタントであり、放射線医学者のための自然言語インタフェースを提供するために、マルチモーダルなバイオメディカルイメージとデータ分析を実行することができる。 非常に一般化可能であり、マルチモーダルデータで動作するが、現在、大きな言語モデル空間に存在するよく知られた課題によって制限されている。 幻覚と反応のインプレクションは、現在VLMの臨床的適応性を阻害している誤診を引き起こす可能性がある。 医療において正確なユーザフレンドリなモデルを作成するために、D-Raxを提案する。D-Raxは、特定の放射線画像についての洞察を得るために使用できる、ドメイン固有の、会話型、無線支援ツールである。 本研究では,胸部X線画像(CXR)の会話解析を強化し,放射線学的診断を支援するとともに,医用画像からの包括的洞察と正確な診断の定式化を支援する。 D-Raxは、画像、命令、およびMIMIC-CXR画像データ、CXR関連視覚質問応答(VQA)ペア、および複数の専門家AIモデルから得られる予測結果からなる画像、命令、および疾患診断および人口統計予測を含む、我々のキュレートされた命令追従データに基づいてLLaVA-Medアーキテクチャを微調整することで実現される。 オープン・エンド・会話とクローズド・会話の双方において,反応の統計的に有意な改善が認められた。 最先端の診断モデルのパワーをVLMと組み合わせることで、D-Raxは、臨床医が自然言語を使って医療画像と対話できるようにし、意思決定プロセスの合理化、診断精度の向上、時間の保存を可能にする。

関連論文リスト

• CXR-Agent: Vision-language models for chest X-ray interpretation with uncertainty aware radiology reporting [0.0]
  胸部X線解釈のための基礎的視覚言語モデルとして, 一般に公開されている技術の現状を評価した。 視覚言語モデルは、しばしば自信のある言語と幻覚し、臨床解釈を遅くする。 我々は,CheXagentの線形プローブとBioViL-Tのフレーズグラウンドティングツールを用いて,エージェントベースの視覚言語によるレポート生成手法を開発した。
  論文  参考訳（メタデータ） (2024-07-11T18:39:19Z)
• The Impact of Auxiliary Patient Data on Automated Chest X-Ray Report Generation and How to Incorporate It [12.61239008314719]
  本研究は,胸部X線自動レポート生成のための多モーダル言語モデルへの多様な患者データソースの統合について検討する。 MIMIC-CXRおよびMIMIC-IV-EDデータセットを用いて, 診断精度を高めるために, バイタルサイン周期, 医薬, 臨床歴などの詳細な患者情報を組み込んだ。
  論文  参考訳（メタデータ） (2024-06-19T03:25:31Z)
• CopilotCAD: Empowering Radiologists with Report Completion Models and Quantitative Evidence from Medical Image Foundation Models [3.8940162151291804]
  本研究は,放射線技師の補助的共同操縦システムを構築するための革新的なパラダイムを紹介する。 我々は,大規模言語モデル(LLM)と医用画像解析ツールを統合する協調フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-04-11T01:33:45Z)
• RaDialog: A Large Vision-Language Model for Radiology Report Generation and Conversational Assistance [53.20640629352422]
  会話型AIツールは、所定の医療画像に対して臨床的に正しい放射線学レポートを生成し、議論することができる。 RaDialogは、ラジオロジーレポート生成と対話ダイアログのための、初めて徹底的に評価され、公開された大きな視覚言語モデルである。 本手法は,報告生成における最先端の臨床的正確性を実現し,報告の修正や質問への回答などのインタラクティブなタスクにおいて,印象的な能力を示す。
  論文  参考訳（メタデータ） (2023-11-30T16:28:40Z)
• Radiology Report Generation Using Transformers Conditioned with Non-imaging Data [55.17268696112258]
  本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。 提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
  論文  参考訳（メタデータ） (2023-11-18T14:52:26Z)
• ChatRadio-Valuer: A Chat Large Language Model for Generalizable Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
  ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。 本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。 ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
  論文  参考訳（メタデータ） (2023-10-08T17:23:17Z)
• XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models [60.437091462613544]
  我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。 胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。 自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
  論文  参考訳（メタデータ） (2023-06-13T17:59:59Z)
• Cross-Modal Causal Intervention for Medical Report Generation [109.83549148448469]
  医療報告生成(MRG)は、コンピュータ支援診断と治療指導に不可欠である。 視覚的および言語的バイアスによって引き起こされる画像テキストデータ内の素早い相関のため、病変領域を確実に記述した正確なレポートを生成することは困難である。 本稿では,視覚分解モジュール (VDM) と言語分解モジュール (LDM) からなるMRGのための新しい視覚言語因果干渉 (VLCI) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-16T07:23:55Z)
• Generative Residual Attention Network for Disease Detection [51.60842580044539]
  本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。 我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。 次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
  論文  参考訳（メタデータ） (2021-10-25T14:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。