論文の概要: Look & Mark: Leveraging Radiologist Eye Fixations and Bounding boxes in Multimodal Large Language Models for Chest X-ray Report Generation

• arxiv url: http://arxiv.org/abs/2505.22222v1
• Date: Wed, 28 May 2025 10:54:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.558312
• Title: Look & Mark: Leveraging Radiologist Eye Fixations and Bounding boxes in Multimodal Large Language Models for Chest X-ray Report Generation
• Title（参考訳）: Look & Mark: 胸部X線生成のためのマルチモーダル大言語モデルにおける放射線医学的アイフィクスとバウンディングボックスの活用
• Authors: Yunsoo Kim, Jinge Wu, Su-Hwan Kim, Pardeep Vasudev, Jiashu Shen, Honghan Wu,
• Abstract要約: Look & Mark (L&M) は、放射線医学的アイフィクス(Look)とバウンディングボックスアノテーション(Mark)を統合した新しい接地固定戦略である。 LLaVA-OVは87.3%の臨床平均成績(C.AVG)を達成しており、L&Mとインコンテキストラーニングを組み合わせた汎用モデルもすべてのモデルの中で最高である。
• 参考スコア（独自算出の注目度）: 2.821158017021184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in multimodal Large Language Models (LLMs) have significantly enhanced the automation of medical image analysis, particularly in generating radiology reports from chest X-rays (CXR). However, these models still suffer from hallucinations and clinically significant errors, limiting their reliability in real-world applications. In this study, we propose Look & Mark (L&M), a novel grounding fixation strategy that integrates radiologist eye fixations (Look) and bounding box annotations (Mark) into the LLM prompting framework. Unlike conventional fine-tuning, L&M leverages in-context learning to achieve substantial performance gains without retraining. When evaluated across multiple domain-specific and general-purpose models, L&M demonstrates significant gains, including a 1.2% improvement in overall metrics (A.AVG) for CXR-LLaVA compared to baseline prompting and a remarkable 9.2% boost for LLaVA-Med. General-purpose models also benefit from L&M combined with in-context learning, with LLaVA-OV achieving an 87.3% clinical average performance (C.AVG)-the highest among all models, even surpassing those explicitly trained for CXR report generation. Expert evaluations further confirm that L&M reduces clinically significant errors (by 0.43 average errors per report), such as false predictions and omissions, enhancing both accuracy and reliability. These findings highlight L&M's potential as a scalable and efficient solution for AI-assisted radiology, paving the way for improved diagnostic workflows in low-resource clinical settings.
• Abstract（参考訳）: マルチモーダル大言語モデル(LLM)の最近の進歩は、特に胸部X線(CXR)から放射線学レポートを生成する際に、医療画像解析の自動化を著しく向上させてきた。 しかし、これらのモデルはまだ幻覚や臨床的に重大なエラーに悩まされており、実際の応用における信頼性が制限されている。 本研究では,Look (Look) と境界ボックスアノテーション (Mark) を LLM プロンプトフレームワークに統合した新しい接地固定戦略である Look & Mark (L&M) を提案する。 従来の微調整とは異なり、L&Mは文脈内学習を活用して、再訓練せずにかなりの性能向上を達成している。 複数のドメイン固有モデルと汎用モデルで評価すると、L&MはCXR-LLaVAの全体的なメトリクス(A.AVG)をベースラインプロンプトと比較して1.2%改善し、LLaVA-Medは9.2%向上した。 LLaVA-OVは87.3%の臨床平均成績(C.AVG)を達成し、CXRレポート生成のために明示的に訓練されたモデルを超えている。 専門家による評価では、L&Mが偽予測や欠落などの臨床的に重要なエラー(報告毎平均エラー0.43)を減らし、精度と信頼性の両方を高めることが確認されている。 これらの知見は、AI支援放射線学のスケーラブルで効率的なソリューションとしてのL&Mの可能性を強調し、低リソース臨床環境での診断ワークフローの改善への道を開いた。

関連論文リスト

• ChestX-Reasoner: Advancing Radiology Foundation Models with Reasoning through Step-by-Step Verification [57.22053411719822]
  ChestX-Reasoner(チェストX-Reasoner)は、臨床報告から直接採掘されるプロセスの監督を活用するために設計された放射線診断MLLMである。 我々の2段階のトレーニングフレームワークは、モデル推論と臨床標準との整合性を高めるために、プロセス報酬によって指導された教師付き微調整と強化学習を組み合わせる。
  論文  参考訳（メタデータ） (2025-04-29T16:48:23Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• MedVLM-R1: Incentivizing Medical Reasoning Capability of Vision-Language Models (VLMs) via Reinforcement Learning [29.84956540178252]
  推論は、医用画像解析の進歩における重要なフロンティアである。 我々は、自然言語推論を明示的に生成する医療用VLMであるMedVLM-R1を紹介する。 MedVLM-R1の精度は、MRI、CT、X線ベンチマークで55.11%から78.22%に向上している。
  論文  参考訳（メタデータ） (2025-02-26T23:57:34Z)
• Leveraging Large Language Models to Enhance Machine Learning Interpretability and Predictive Performance: A Case Study on Emergency Department Returns for Mental Health Patients [2.3769374446083735]
  救急部門(ED)は精神状態の回復が大きな医療負担となり、患者の24-27%が30日以内に帰国する。 大規模言語モデル(LLM)と機械学習を統合することにより、EDメンタルヘルスリターンリスクモデルの予測精度と臨床的解釈性が向上するか否かを評価する。
  論文  参考訳（メタデータ） (2025-01-21T15:41:20Z)
• Exploring Multimodal Large Language Models for Radiology Report Error-checking [1.7217842380976978]
  本稿では, 放射線技師が報告の誤りを確認するための補助として, マルチモーダル大言語モデル (LLMs) を用いた最初の臨床応用の1つを提案する。 我々は、実世界の放射線学データセット(X線とCTスキャンを含む)から評価データセットを作成しました。 SIMPLEレベルでは,MIMIC-CXRとIU X線データでそれぞれ47.4%,25.4%向上した。
  論文  参考訳（メタデータ） (2023-12-20T15:20:33Z)
• End-to-End Breast Cancer Radiotherapy Planning via LMMs with Consistency Embedding [47.360760580820966]
  放射線腫瘍学の分野に適した包括的大規模マルチモーダルモデル(LMM)であるRO-LMMを提案する。 このモデルは臨床ワークフロー内の一連のタスクを効果的に管理し、臨床コンテキストの要約、放射線治療計画の提案、計画誘導されたターゲットボリュームセグメンテーションを含む。 クリーン入力処理の整合性を維持しつつ,LMMのノイズ入力に対する堅牢性を向上する,CEFTune(Consistency Embedding Fine-Tuning)技術を提案する。
  論文  参考訳（メタデータ） (2023-11-27T14:49:06Z)
• Advancing Radiograph Representation Learning with Masked Record Modeling [52.04899592688968]
  我々は2つの相補的な目的として自己と報告の補完を定式化し、マスク付きレコードモデリング(MRM)に基づく統一的な枠組みを提案する。 MRMは、知識強化されたセマンティック表現を学ぶためのマルチタスクスキームに従って、マスクされた画像パッチとマスクされたレポートトークンを再構築する。 具体的には、MRMはラベル効率の良い微調整において優れた性能を提供する。
  論文  参考訳（メタデータ） (2023-01-30T18:33:32Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。