論文の概要: Leveraging Foundation Models for Content-Based Medical Image Retrieval in Radiology

• arxiv url: http://arxiv.org/abs/2403.06567v3
• Date: Wed, 17 Apr 2024 15:58:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 00:06:38.086129
• Title: Leveraging Foundation Models for Content-Based Medical Image Retrieval in Radiology
• Title（参考訳）: 放射線診断におけるコンテンツベース医用画像検索のための基礎モデルの構築
• Authors: Stefan Denner, David Zimmerer, Dimitrios Bounias, Markus Bujotzek, Shuhan Xiao, Lisa Kausch, Philipp Schader, Tobias Penzkofer, Paul F. Jäger, Klaus Maier-Hein,
• Abstract要約: コンテンツに基づく画像検索は、放射線学における診断支援と医学研究を大幅に改善する可能性がある。 現在のCBIRシステムは、特定の病態の専門化による限界に直面しており、実用性は制限されている。 本稿では,コンテンツに基づく医用画像検索のための特徴抽出器として視覚基盤モデルを提案する。
• 参考スコア（独自算出の注目度）: 0.14631663747888957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Content-based image retrieval (CBIR) has the potential to significantly improve diagnostic aid and medical research in radiology. Current CBIR systems face limitations due to their specialization to certain pathologies, limiting their utility. In response, we propose using vision foundation models as powerful and versatile off-the-shelf feature extractors for content-based medical image retrieval. By benchmarking these models on a comprehensive dataset of 1.6 million 2D radiological images spanning four modalities and 161 pathologies, we identify weakly-supervised models as superior, achieving a P@1 of up to 0.594. This performance not only competes with a specialized model but does so without the need for fine-tuning. Our analysis further explores the challenges in retrieving pathological versus anatomical structures, indicating that accurate retrieval of pathological features presents greater difficulty. Despite these challenges, our research underscores the vast potential of foundation models for CBIR in radiology, proposing a shift towards versatile, general-purpose medical image retrieval systems that do not require specific tuning.
• Abstract（参考訳）: CBIR(Content-based Image Search)は、放射線学における診断支援と医学研究を大幅に改善する可能性がある。 現在のCBIRシステムは、特定の病態の専門化による限界に直面しており、実用性は制限されている。 そこで本研究では,視覚基盤モデルを用いて,コンテンツに基づく医用画像検索のための特徴抽出器を提案する。 これらのモデルを4つのモダリティと161の病理にまたがる1.6万の2D画像の総合的なデータセットでベンチマークすることにより、弱い教師付きモデルが優れていると判断し、最大0.594のP@1を達成する。 このパフォーマンスは、特殊なモデルと競合するだけでなく、微調整を必要としない。 さらに, 病理組織と解剖学的構造を検索する際の課題について検討し, 病理学的特徴の正確な検索が困難であることが示唆された。 これらの課題にも拘わらず,放射線学におけるCBIRの基礎モデルの可能性は大きく,特定のチューニングを必要としない汎用的な医用画像検索システムへの移行が提案されている。

関連論文リスト

• Multiscale Latent Diffusion Model for Enhanced Feature Extraction from Medical Images [5.395912799904941]
  CTスキャナーモデルと取得プロトコルのバリエーションは、抽出した放射能特性に有意な変動をもたらす。 LTDiff++は医療画像の特徴抽出を強化するために設計されたマルチスケール潜在拡散モデルである。
  論文  参考訳（メタデータ） (2024-10-05T02:13:57Z)
• CanvOI, an Oncology Intelligence Foundation Model: Scaling FLOPS Differently [0.0]
  本稿では,VT-g/10ベースの基盤モデルであるCanvOIについて述べる。 より大きなタイルサイズ(380 x 380ピクセル)と小さなパッチサイズ(10 x 10ピクセル)を導入することで、モデルの性能を最適化することができた。
  論文  参考訳（メタデータ） (2024-09-04T17:15:44Z)
• Understanding differences in applying DETR to natural and medical images [16.200340490559338]
  トランスフォーマーベースの検出器は、自然画像を用いたコンピュータビジョンタスクで成功している。 医用画像データには、非常に大きな画像サイズ、興味の少ない領域の小さい領域、微妙な違いによってのみ区別できるオブジェクトクラスなど、固有の課題がある。 本研究は, 検診用マンモグラフィーデータセットに適用した場合に, これらのトランスフォーマーに基づく設計選択の適用性を評価するものである。
  論文  参考訳（メタデータ） (2024-05-27T22:06:42Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Free Form Medical Visual Question Answering in Radiology [3.495246564946556]
  医療用ビジュアル質問回答の研究は、2018年以来、勢いを増している。 本研究は,放射線画像の効果的表現とマルチモーダル表現の連成学習について考察する。 我々のモデルは、より複雑なアーキテクチャでトップ1の精度79.55%を実現し、現在の最先端モデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2024-01-23T20:26:52Z)
• Performance Analysis of UNet and Variants for Medical Image Segmentation [1.5410557873153836]
  本研究の目的は,深層学習モデル,特にUNetアーキテクチャとその変種に着目した医用画像セグメンテーションの応用を検討することである。 その結果,深層ネットワーク層で拡張された標準UNetは,有能な医用画像セグメンテーションモデルであることが判明した。 Res-UNetとAttention Res-UNetアーキテクチャは、特に細かな画像の詳細を扱う際に、よりスムーズな収束と優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-09-22T17:20:40Z)
• K-Space-Aware Cross-Modality Score for Synthesized Neuroimage Quality Assessment [71.27193056354741]
  クロスモダリティな医用画像合成をどう評価するかという問題は、ほとんど解明されていない。 本稿では,この課題の進展を促すため,新しい指標K-CROSSを提案する。 K-CROSSは、トレーニング済みのマルチモードセグメンテーションネットワークを使用して、病変の位置を予測する。
  論文  参考訳（メタデータ） (2023-07-10T01:26:48Z)
• Revisiting Computer-Aided Tuberculosis Diagnosis [56.80999479735375]
  結核(TB)は世界的な健康上の脅威であり、毎年何百万人もの死者を出している。 深層学習を用いたコンピュータ支援結核診断 (CTD) は有望であるが, 限られたトレーニングデータによって進行が妨げられている。 結核X線(TBX11K)データセットは11,200個の胸部X線(CXR)画像とそれに対応するTB領域のバウンディングボックスアノテーションを含む。 このデータセットは、高品質なCTDのための洗練された検出器のトレーニングを可能にする。
  論文  参考訳（メタデータ） (2023-07-06T08:27:48Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Patched Diffusion Models for Unsupervised Anomaly Detection in Brain MRI [55.78588835407174]
  本稿では,正常脳解剖のパッチベース推定法として拡散モデルの生成タスクを再構築する手法を提案する。 腫瘍と多発性硬化症について検討し,既存のベースラインと比較して25.1%の改善がみられた。
  論文  参考訳（メタデータ） (2023-03-07T09:40:22Z)
• Generative Residual Attention Network for Disease Detection [51.60842580044539]
  本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。 我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。 次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
  論文  参考訳（メタデータ） (2021-10-25T14:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。