論文の概要: Leveraging Foundation Models for Content-Based Medical Image Retrieval
in Radiology
- arxiv url: http://arxiv.org/abs/2403.06567v1
- Date: Mon, 11 Mar 2024 10:06:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 19:31:42.101167
- Title: Leveraging Foundation Models for Content-Based Medical Image Retrieval
in Radiology
- Title(参考訳): 放射線医学における医用画像検索の基礎モデル活用
- Authors: Stefan Denner, David Zimmerer, Dimitrios Bounias, Markus Bujotzek,
Shuhan Xiao, Lisa Kausch, Philipp Schader, Tobias Penzkofer, Paul F. J\"ager,
Klaus Maier-Hein
- Abstract要約: コンテンツに基づく画像検索は、放射線学における診断支援と医学研究を大幅に改善する可能性がある。
現在のCBIRシステムは、特定の病態の専門化による限界に直面しており、実用性は制限されている。
本稿では,コンテンツに基づく医用画像検索のための特徴抽出器として視覚基盤モデルを提案する。
- 参考スコア(独自算出の注目度): 0.18930208098720053
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Content-based image retrieval (CBIR) has the potential to significantly
improve diagnostic aid and medical research in radiology. Current CBIR systems
face limitations due to their specialization to certain pathologies, limiting
their utility. In response, we propose using vision foundation models as
powerful and versatile off-the-shelf feature extractors for content-based
medical image retrieval. By benchmarking these models on a comprehensive
dataset of 1.6 million 2D radiological images spanning four modalities and 161
pathologies, we identify weakly-supervised models as superior, achieving a P@1
of up to 0.594. This performance not only competes with a specialized model but
does so without the need for fine-tuning. Our analysis further explores the
challenges in retrieving pathological versus anatomical structures, indicating
that accurate retrieval of pathological features presents greater difficulty.
Despite these challenges, our research underscores the vast potential of
foundation models for CBIR in radiology, proposing a shift towards versatile,
general-purpose medical image retrieval systems that do not require specific
tuning.
- Abstract(参考訳): コンテンツベース画像検索(cbir)は、放射線医学における診断支援と医学研究を著しく改善する可能性がある。
現在のCBIRシステムは、特定の病態に特化するため、実用性に制限がある。
そこで本研究では,医用画像検索のための特徴抽出器として視覚基盤モデルを提案する。
これらのモデルを4つのモダリティと161の病理にまたがる1.6万の2D画像の総合的なデータセットでベンチマークすることにより、弱い教師付きモデルが優れていると判断し、最大0.594のP@1を達成する。
このパフォーマンスは、特殊なモデルと競合するだけでなく、微調整を必要としない。
病理組織学的構造と解剖学的構造を検索することの難しさをさらに探究し,病理的特徴の正確な検索が困難であることを示す。
これらの課題にも拘わらず,放射線学におけるCBIRの基礎モデルの可能性は大きく,特定のチューニングを必要としない汎用的な医用画像検索システムへの移行が提案されている。
関連論文リスト
- Training Small Multimodal Models to Bridge Biomedical Competency Gap: A
Case Study in Radiology Imaging [114.43429928419755]
バイオメディカル・コンピテンシー・ギャップを橋渡しするオープンソース小型マルチモーダル・モデル(SMM)の訓練について検討する。
LLaVA-Radは高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳(メタデータ) (2024-03-12T18:12:02Z) - Free Form Medical Visual Question Answering in Radiology [3.495246564946556]
医療用ビジュアル質問回答の研究は、2018年以来、勢いを増している。
本研究は,放射線画像の効果的表現とマルチモーダル表現の連成学習について考察する。
我々のモデルは、より複雑なアーキテクチャでトップ1の精度79.55%を実現し、現在の最先端モデルに匹敵する性能を示す。
論文 参考訳(メタデータ) (2024-01-23T20:26:52Z) - Large-scale Long-tailed Disease Diagnosis on Radiology Images [59.37561810438641]
本研究では,放射線画像における大規模大語彙疾患分類の問題点について検討する。
i)データセット構築では、39,026ケース(192,675スキャン)を含む930のユニークなICD-10-CMコードとリンクした5568の障害を含む、学術的にアクセス可能な大規模診断データセットを構築します。
さらに,本研究の最終モデルは事前学習モデルとして機能し,様々な外部データセットの診断に役立てることができる。
論文 参考訳(メタデータ) (2023-12-26T18:20:48Z) - UMedNeRF: Uncertainty-aware Single View Volumetric Rendering for Medical
Neural Radiance Fields [38.62191342903111]
生成した放射場に基づく不確実性を考慮したMedNeRF(UMedNeRF)ネットワークを提案する。
我々は,CTプロジェクションレンダリングの結果を1つのX線で示し,生成した放射場に基づく他の手法との比較を行った。
論文 参考訳(メタデータ) (2023-11-10T02:47:15Z) - Performance Analysis of UNet and Variants for Medical Image Segmentation [1.5410557873153836]
本研究の目的は,深層学習モデル,特にUNetアーキテクチャとその変種に着目した医用画像セグメンテーションの応用を検討することである。
その結果,深層ネットワーク層で拡張された標準UNetは,有能な医用画像セグメンテーションモデルであることが判明した。
Res-UNetとAttention Res-UNetアーキテクチャは、特に細かな画像の詳細を扱う際に、よりスムーズな収束と優れたパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-09-22T17:20:40Z) - K-Space-Aware Cross-Modality Score for Synthesized Neuroimage Quality
Assessment [71.27193056354741]
クロスモダリティな医用画像合成をどう評価するかという問題は、ほとんど解明されていない。
本稿では,この課題の進展を促すため,新しい指標K-CROSSを提案する。
K-CROSSは、トレーニング済みのマルチモードセグメンテーションネットワークを使用して、病変の位置を予測する。
論文 参考訳(メタデータ) (2023-07-10T01:26:48Z) - Revisiting Computer-Aided Tuberculosis Diagnosis [56.80999479735375]
結核(TB)は世界的な健康上の脅威であり、毎年何百万人もの死者を出している。
深層学習を用いたコンピュータ支援結核診断 (CTD) は有望であるが, 限られたトレーニングデータによって進行が妨げられている。
結核X線(TBX11K)データセットは11,200個の胸部X線(CXR)画像とそれに対応するTB領域のバウンディングボックスアノテーションを含む。
このデータセットは、高品質なCTDのための洗練された検出器のトレーニングを可能にする。
論文 参考訳(メタデータ) (2023-07-06T08:27:48Z) - Patched Diffusion Models for Unsupervised Anomaly Detection in Brain MRI [55.78588835407174]
本稿では,正常脳解剖のパッチベース推定法として拡散モデルの生成タスクを再構築する手法を提案する。
腫瘍と多発性硬化症について検討し,既存のベースラインと比較して25.1%の改善がみられた。
論文 参考訳(メタデータ) (2023-03-07T09:40:22Z) - Adapting Pretrained Vision-Language Foundational Models to Medical
Imaging Domains [3.8137985834223502]
臨床の文脈を忠実に描写する医療画像の生成モデルを構築することは、医療データセットの不明瞭さを軽減するのに役立つ。
安定拡散パイプラインのサブコンポーネントを探索し、モデルを微調整して医用画像を生成する。
我々の最良の性能モデルは、安定な拡散ベースラインを改善し、合成ラジオグラフィ画像に現実的な異常を挿入するように条件付けすることができる。
論文 参考訳(メタデータ) (2022-10-09T01:43:08Z) - Generative Residual Attention Network for Disease Detection [51.60842580044539]
本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。
我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。
次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
論文 参考訳(メタデータ) (2021-10-25T14:15:57Z) - Hierarchical Analysis of Visual COVID-19 Features from Chest Radiographs [5.832030105874915]
我々は, 放射線学的決定プロセスと整合した, 人間の解釈可能なクラス階層を用いて, 放射線学的特徴をモデル化する。
実験により、モデル故障は、ICU撮像条件と非常に相関し、特定の種類の放射線学的特徴を識別することが本質的に困難であることが示されている。
論文 参考訳(メタデータ) (2021-07-14T11:37:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。