論文の概要: Evaluating Vision Language Models (VLMs) for Radiology: A Comprehensive Analysis
- arxiv url: http://arxiv.org/abs/2504.16047v1
- Date: Tue, 22 Apr 2025 17:20:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-30 17:02:36.945013
- Title: Evaluating Vision Language Models (VLMs) for Radiology: A Comprehensive Analysis
- Title（参考訳）: 放射線学のための視覚言語モデル(VLM)の評価:包括的解析
- Authors: Frank Li, Hari Trivedi, Bardia Khosravi, Theo Dapamede, Mohammadreza Chavoshi, Abdulhameed Dere, Rohan Satya Isaac, Aawez Mansuri, Janice Newsome, Saptarshi Purkayastha, Judy Gichoya,
- Abstract要約: 本研究では,3つの視覚言語基盤モデル(RAD-DINO,CheXagent,BiomedCLIP)を,放射線学タスクの微細な画像特徴を捉える能力について評価した。
胸部X線写真上, 気胸, 心肥大に対する分類, セグメンテーション, 回帰作業で評価した。
- 参考スコア（独自算出の注目度）: 4.803310914375717
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundation models, trained on vast amounts of data using self-supervised techniques, have emerged as a promising frontier for advancing artificial intelligence (AI) applications in medicine. This study evaluates three different vision-language foundation models (RAD-DINO, CheXagent, and BiomedCLIP) on their ability to capture fine-grained imaging features for radiology tasks. The models were assessed across classification, segmentation, and regression tasks for pneumothorax and cardiomegaly on chest radiographs. Self-supervised RAD-DINO consistently excelled in segmentation tasks, while text-supervised CheXagent demonstrated superior classification performance. BiomedCLIP showed inconsistent performance across tasks. A custom segmentation model that integrates global and local features substantially improved performance for all foundation models, particularly for challenging pneumothorax segmentation. The findings highlight that pre-training methodology significantly influences model performance on specific downstream tasks. For fine-grained segmentation tasks, models trained without text supervision performed better, while text-supervised models offered advantages in classification and interpretability. These insights provide guidance for selecting foundation models based on specific clinical applications in radiology.
- Abstract（参考訳）: 自己管理技術を使って膨大な量のデータをトレーニングしたファンデーションモデルは、医学における人工知能(AI)応用を前進させるための有望なフロンティアとして登場した。
本研究では,3種類の視覚言語基盤モデル(RAD-DINO,CheXagent,BiomedCLIP)を,放射線学タスクの微細な画像特徴を捉える能力について評価した。
胸部X線写真上, 気胸, 心肥大に対する分類, セグメンテーション, 回帰作業で評価した。
自己教師型RAD-DINOはセグメンテーションに優れ、テキスト教師型CheXagentは優れた分類性能を示した。
BiomedCLIPはタスク間で不整合性能を示した。
グローバルな特徴とローカルな特徴を統合するカスタムセグメンテーションモデルは、特に気胸セグメンテーションに挑戦するために、すべてのファンデーションモデルの性能を大幅に改善した。
その結果、事前学習手法が特定の下流タスクにおけるモデル性能に著しく影響を及ぼすことが明らかとなった。
細かなセグメンテーションタスクでは、テキストの監督なしに訓練されたモデルはより良いパフォーマンスを示し、テキスト管理モデルは分類と解釈可能性に利点をもたらした。
これらの知見は、放射線学における特定の臨床応用に基づいて基礎モデルを選択するためのガイダンスを提供する。
関連論文リスト
- PathSegDiff: Pathology Segmentation using Diffusion model representations [63.20694440934692]
そこで我々は,Latent Diffusion Models (LDMs) を事前学習した特徴抽出器として活用する,病理組織像分割の新しい手法であるPathSegDiffを提案する。
本手法は,H&E染色組織像から多彩な意味情報を抽出するために,自己教師型エンコーダによって誘導される病理特異的LCMを用いる。
本実験は,BCSSおよびGlaSデータセットにおける従来の手法よりも大幅に改善されたことを示す。
論文 参考訳（メタデータ） (2025-04-09T14:58:21Z) - AI-Assisted Colonoscopy: Polyp Detection and Segmentation using Foundation Models [0.10037949839020764]
大腸内視鏡検査では、Deep Learningモデルの助けを借りて、欠落したポリープの80%を検出できた。
この課題に対処できるアルゴリズムの探索において、ファンデーションモデルは有望な候補として浮上する。
ゼロショットまたは少数ショットの学習機能により、広範囲の微調整なしに、新しいデータやタスクへの一般化が容易になる。
ポリプセグメンテーションの基礎モデルを総合的に評価し, 検出と分解の両面から評価した。
論文 参考訳（メタデータ） (2025-03-31T14:20:53Z) - Enhancing SAM with Efficient Prompting and Preference Optimization for Semi-supervised Medical Image Segmentation [30.524999223901645]
完全教師なし方式で生成されるアノテーション効率のよいプロンプトを利用するSAM(Segment Anything Model)フレームワークを提案する。
我々は、モデルが高忠実度セグメンテーションを生成できるように最適なポリシーを設計するために、直接選好最適化手法を採用する。
X線, 超音波, 腹部CTなど多彩な領域にわたる肺分節, 乳房腫瘍分節, 臓器分節などのタスクにおける我々のフレームワークの最先端性能は, 低アノテーションデータシナリオにおけるその有効性を正当化するものである。
論文 参考訳（メタデータ） (2025-03-06T17:28:48Z) - Benchmarking Embedding Aggregation Methods in Computational Pathology: A Clinical Data Perspective [32.93871326428446]
人工知能(AI)の最近の進歩は、医療画像と計算病理に革命をもたらしている。
デジタル全スライド画像(WSI)の解析における一定の課題は、何万ものタイルレベルの画像埋め込みをスライドレベルの表現に集約する問題である。
本研究は,9つの臨床的課題を対象とした10種類のスライドレベルのアグリゲーション手法のベンチマーク分析を行った。
論文 参考訳（メタデータ） (2024-07-10T17:00:57Z) - GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。
GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。
本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
論文 参考訳（メタデータ） (2024-06-01T08:01:05Z) - Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。
トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。
評価のために,GPT-4に基づく実測値CheXpromptを提案する。
LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳（メタデータ） (2024-03-12T18:12:02Z) - Architecture Analysis and Benchmarking of 3D U-shaped Deep Learning Models for Thoracic Anatomical Segmentation [0.8897689150430447]
3次元U型モデルの変種に対する最初の系統的ベンチマーク研究を行う。
本研究では,異なる注意機構,解像度ステージ数,ネットワーク構成がセグメンテーション精度および計算複雑性に与える影響について検討した。
論文 参考訳（メタデータ） (2024-02-05T17:43:02Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳（メタデータ） (2023-03-30T18:20:00Z) - Improving Classification Model Performance on Chest X-Rays through Lung
Segmentation [63.45024974079371]
本稿では, セグメンテーションによる異常胸部X線(CXR)識別性能を向上させるための深層学習手法を提案する。
提案手法は,CXR画像中の肺領域を局所化するための深層ニューラルネットワーク(XLSor)と,大規模CXRデータセットで事前学習した自己教師あり運動量コントラスト(MoCo)モデルのバックボーンを用いたCXR分類モデルである。
論文 参考訳（メタデータ） (2022-02-22T15:24:06Z) - A multi-stage machine learning model on diagnosis of esophageal
manometry [50.591267188664666]
このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。
これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
論文 参考訳（メタデータ） (2021-06-25T20:09:23Z) - Training custom modality-specific U-Net models with weak localizations
for improved Tuberculosis segmentation and localization [0.6999740786886535]
UNetセグメンテーションモデルは従来の手工芸品よりも優れた性能を示している。
結核の鑑別診断のためのカスタム胸部x線モダリティ特定unetモデルの訓練を行った。
論文 参考訳（メタデータ） (2021-02-21T14:03:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。