論文の概要: Describe Anything in Medical Images

• arxiv url: http://arxiv.org/abs/2505.05804v1
• Date: Fri, 09 May 2025 05:45:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:10.167349
• Title: Describe Anything in Medical Images
• Title（参考訳）: 医用画像における記述
• Authors: Xi Xiao, Yunbei Zhang, Thanh-Huy Nguyen, Ba-Thinh Lam, Janet Wang, Jihun Hamm, Tianyang Wang, Xingjian Li, Xiao Wang, Hao Xu, Tianming Liu, Min Xu,
• Abstract要約: 医用画像の領域別キャプションに大規模視覚言語モデルを活用する,初の包括的フレームワークであるMedDAMを提案する。 MedDAMは特定の画像モダリティに合わせて医療専門家が設計したプロンプトを採用し、堅牢な評価ベンチマークを確立する。 本ベンチマークは,属性レベル検証タスクによる臨床事実性に着目し,MedDAMと他の大規模視覚言語モデルの両方を評価する。
• 参考スコア（独自算出の注目度）: 29.792122537444435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Localized image captioning has made significant progress with models like the Describe Anything Model (DAM), which can generate detailed region-specific descriptions without explicit region-text supervision. However, such capabilities have yet to be widely applied to specialized domains like medical imaging, where diagnostic interpretation relies on subtle regional findings rather than global understanding. To mitigate this gap, we propose MedDAM, the first comprehensive framework leveraging large vision-language models for region-specific captioning in medical images. MedDAM employs medical expert-designed prompts tailored to specific imaging modalities and establishes a robust evaluation benchmark comprising a customized assessment protocol, data pre-processing pipeline, and specialized QA template library. This benchmark evaluates both MedDAM and other adaptable large vision-language models, focusing on clinical factuality through attribute-level verification tasks, thereby circumventing the absence of ground-truth region-caption pairs in medical datasets. Extensive experiments on the VinDr-CXR, LIDC-IDRI, and SkinCon datasets demonstrate MedDAM's superiority over leading peers (including GPT-4o, Claude 3.7 Sonnet, LLaMA-3.2 Vision, Qwen2.5-VL, GPT-4Rol, and OMG-LLaVA) in the task, revealing the importance of region-level semantic alignment in medical image understanding and establishing MedDAM as a promising foundation for clinical vision-language integration.
• Abstract（参考訳）: ローカライズされた画像キャプションは、DAM(Describe Anything Model)のようなモデルで大きく進歩している。 しかし、診断の解釈は、グローバルな理解よりも、微妙な地域的な発見に依存しているため、医療画像のような専門分野には、そのような能力は、まだ広く適用されていない。 このギャップを緩和するため,医用画像の領域別キャプションに大規模視覚言語モデルを活用する,初の包括的フレームワークであるMedDAMを提案する。 MedDAMは、特定の画像モダリティに合わせた医療専門家が設計したプロンプトを採用し、カスタマイズされたアセスメントプロトコル、データ前処理パイプライン、特別なQAテンプレートライブラリを含む堅牢な評価ベンチマークを確立する。 本ベンチマークは,MedDAMと他の適応可能な大規模視覚言語モデルの両方を評価し,属性レベルの検証タスクによる臨床事実性に着目した。 VinDr-CXR、LIDC-IDRI、およびSkinConデータセットに関する大規模な実験は、MedDAMが主要なピア(GPT-4o、Claude 3.7 Sonnet、LLaMA-3.2 Vision、Qwen2.5-VL、GPT-4Rol、OMG-LLaVA)よりも優れていることを示す。

関連論文リスト

• Meta-Entity Driven Triplet Mining for Aligning Medical Vision-Language Models [9.76070837929117]
  既存のアライメント手法は、微粒な病理属性の分離よりも病気のクラス間の分離を優先する。 本稿では,マルチモーダル三重項学習による画像テキストアライメントを向上させる新しい手法であるMedTrimを提案する。 我々の実証では,MedTrimは,最先端のアライメント手法と比較して,下流検索および分類タスクの性能を向上させることが示されている。
  論文  参考訳（メタデータ） (2025-04-22T14:17:51Z)
• A Survey of Medical Vision-and-Language Applications and Their Techniques [48.268198631277315]
  医療ビジョン・アンド・ランゲージモデル(MVLM)は、複雑な医療データを解釈するための自然言語インタフェースを提供する能力から、大きな関心を集めている。 本稿では,MVLMの概要と適用した各種医療課題について概観する。 また、これらのタスクに使用するデータセットについても検討し、標準化された評価指標に基づいて異なるモデルの性能を比較した。
  論文  参考訳（メタデータ） (2024-11-19T03:27:05Z)
• Interpretable Bilingual Multimodal Large Language Model for Diverse Biomedical Tasks [13.016940516468674]
  本研究の目的は,医学的MLLMの解剖学的領域全体を理解する能力を高めることである。 本稿では,最初のバイリンガル・ジェネリスト医療用AIシステムである領域認識型医療用MLLM MedRegAを提案する。 我々のモデルは、バイリンガル設定における様々な医療ビジョン言語タスクにおける強力なパフォーマンスを達成するだけでなく、マルチモーダル・メディカルスキャンにおける構造を認識し、検出することができる。
  論文  参考訳（メタデータ） (2024-10-24T02:55:41Z)
• Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
  特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。 本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2024-07-08T09:08:42Z)
• A Systematic Evaluation of GPT-4V's Multimodal Capability for Medical Image Analysis [87.25494411021066]
  医用画像解析のためのGPT-4Vのマルチモーダル機能の評価を行った。 GPT-4Vは医用画像の理解に優れ、高品質な放射線診断レポートを生成する。 医用視覚接地の性能は大幅に改善する必要があることが判明した。
  論文  参考訳（メタデータ） (2023-10-31T11:39:09Z)
• Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
  我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。 提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
  論文  参考訳（メタデータ） (2022-09-28T10:27:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。