論文の概要: Benchmarking Robustness of Contrastive Learning Models for Medical Image-Report Retrieval

• arxiv url: http://arxiv.org/abs/2501.09134v1
• Date: Wed, 15 Jan 2025 20:37:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:12:03.859451
• Title: Benchmarking Robustness of Contrastive Learning Models for Medical Image-Report Retrieval
• Title（参考訳）: 医用画像検索のためのコントラスト学習モデルのベンチマークロバスト性-レポート検索
• Authors: Demetrio Deanda, Yuktha Priya Masupalli, Jeong Yang, Young Lee, Zechun Cao, Gongbo Liang,
• Abstract要約: 本研究では,CLIP,CXR-RePaiR,MedCLIP,CXR-CLIPの4つの最先端コントラスト学習モデルの堅牢性を評価する。 以上の結果から,全ての評価モデルは分布外データに非常に敏感であることが判明した。 これらの制限に対処することにより、医療応用のためのより信頼性の高いクロスドメイン検索モデルを構築することができる。
• 参考スコア（独自算出の注目度）: 2.9801426627439453
• License:
• Abstract: Medical images and reports offer invaluable insights into patient health. The heterogeneity and complexity of these data hinder effective analysis. To bridge this gap, we investigate contrastive learning models for cross-domain retrieval, which associates medical images with their corresponding clinical reports. This study benchmarks the robustness of four state-of-the-art contrastive learning models: CLIP, CXR-RePaiR, MedCLIP, and CXR-CLIP. We introduce an occlusion retrieval task to evaluate model performance under varying levels of image corruption. Our findings reveal that all evaluated models are highly sensitive to out-of-distribution data, as evidenced by the proportional decrease in performance with increasing occlusion levels. While MedCLIP exhibits slightly more robustness, its overall performance remains significantly behind CXR-CLIP and CXR-RePaiR. CLIP, trained on a general-purpose dataset, struggles with medical image-report retrieval, highlighting the importance of domain-specific training data. The evaluation of this work suggests that more effort needs to be spent on improving the robustness of these models. By addressing these limitations, we can develop more reliable cross-domain retrieval models for medical applications.
• Abstract（参考訳）: 医療画像とレポートは、患者の健康に関する貴重な洞察を提供する。 これらのデータの均一性と複雑さは、効果的な分析を妨げる。 このギャップを埋めるために、医用画像と臨床報告を関連付けるクロスドメイン検索のための対照的な学習モデルについて検討する。 本研究では,CLIP,CXR-RePaiR,MedCLIP,CXR-CLIPの4つの最先端コントラスト学習モデルの堅牢性を評価する。 画像劣化の度合いの異なるモデルの性能を評価するために,オクルージョン検索タスクを導入する。 以上の結果から,全ての評価モデルは分布外データに非常に敏感であり,オクルージョンレベルの増大に伴う性能低下が証明された。 MedCLIPはやや頑丈だが、全体的な性能はCXR-CLIPとCXR-RePaiRに大きく遅れている。 汎用データセットに基づいてトレーニングされたCLIPは、医用画像レポート検索に苦慮し、ドメイン固有のトレーニングデータの重要性を強調している。 この研究の評価は、これらのモデルの堅牢性を改善するためにより多くの労力を費やす必要があることを示唆している。 これらの制約に対処することにより、医療応用のためのより信頼性の高いクロスドメイン検索モデルを構築することができる。

関連論文リスト

• MAPUNetR: A Hybrid Vision Transformer and U-Net Architecture for Efficient and Interpretable Medical Image Segmentation [0.0]
  本稿では,医用画像セグメンテーションのためのU-Netフレームワークを用いて,トランスフォーマーモデルの強度を相乗化する新しいアーキテクチャMAPUNetRを紹介する。 本モデルでは,分解能保存課題に対処し,セグメンテーションされた領域に着目したアテンションマップを導入し,精度と解釈可能性を高める。 臨床実習における医用画像セグメンテーションの強力なツールとして,本モデルが安定した性能と可能性を維持していることを示す。
  論文  参考訳（メタデータ） (2024-10-29T16:52:57Z)
• Cross-model Mutual Learning for Exemplar-based Medical Image Segmentation [25.874281336821685]
  Exemplar-based Medical Image(CMEMS)のためのクロスモデル相互学習フレームワーク 外来医用画像のためのクロスモデル相互学習フレームワーク(CMEMS)について紹介する。
  論文  参考訳（メタデータ） (2024-04-18T00:18:07Z)
• Adaptive Affinity-Based Generalization For MRI Imaging Segmentation Across Resource-Limited Settings [1.5703963908242198]
  本稿では,適応親和性に基づく蒸留とカーネルベースの蒸留をシームレスに組み合わせた,新しい関係に基づく知識フレームワークを提案する。 革新的アプローチを検証するために,我々は公開されている複数ソースのMRIデータについて実験を行った。
  論文  参考訳（メタデータ） (2024-04-03T13:35:51Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Does image resolution impact chest X-ray based fine-grained Tuberculosis-consistent lesion segmentation? [3.3086274755158325]
  ディープラーニングモデルは、計算資源の不足を理由に、画像解像度の低下を訓練していると伝えられている。 本研究では,インセプションV3ベースのUNetモデルを様々な画像/マスク解像度を用いて学習することで得られる性能向上について検討した。
  論文  参考訳（メタデータ） (2023-01-10T15:34:39Z)
• Significantly improving zero-shot X-ray pathology classification via fine-tuning pre-trained image-text encoders [50.689585476660554]
  本稿では,正対損失緩和とランダムな文サンプリングを含む新たな微調整手法を提案する。 提案手法は,胸部X線データセットと3つの事前訓練モデル間のゼロショット病理分類を一貫して改善する。
  論文  参考訳（メタデータ） (2022-12-14T06:04:18Z)
• Competence-based Multimodal Curriculum Learning for Medical Report Generation [98.10763792453925]
  本稿では,コンピテンスベースのマルチモーダルカリキュラム学習フレームワーク(CMCL)を提案する。 具体的には、CMCLは放射線学者の学習過程をシミュレートし、段階的にモデルを最適化する。 パブリックIU-XrayとMIMIC-CXRデータセットの実験は、CMCLを既存のモデルに組み込んでパフォーマンスを向上させることができることを示している。
  論文  参考訳（メタデータ） (2022-06-24T08:16:01Z)
• On the Robustness of Pretraining and Self-Supervision for a Deep Learning-based Analysis of Diabetic Retinopathy [70.71457102672545]
  糖尿病網膜症における訓練方法の違いによる影響を比較検討した。 本稿では,定量的性能,学習した特徴表現の統計,解釈可能性,画像歪みに対する頑健性など,さまざまな側面について検討する。 以上の結果から,ImageNet事前学習モデルでは,画像歪みに対する性能,一般化,堅牢性が著しく向上していることが示唆された。
  論文  参考訳（メタデータ） (2021-06-25T08:32:45Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)
• Deep Metric Learning-based Image Retrieval System for Chest Radiograph and its Clinical Applications in COVID-19 [12.584626589565522]
  胸部X線写真(CXR)は、新型コロナウイルス患者のトリアージ、診断、モニタリングにおいて重要な役割を担っている。 CXRの混合信号や非特異的信号を考えると、類似した画像と関連する臨床情報の両方を提供するCXRの画像検索モデルは、より臨床的に有意義である。 本研究では,深度学習に基づく新しいCXR画像検索モデルを開発する。
  論文  参考訳（メタデータ） (2020-11-26T03:16:48Z)
• Semi-supervised Medical Image Classification with Relation-driven Self-ensembling Model [71.80319052891817]
  医用画像分類のための関係駆動型半教師付きフレームワークを提案する。 これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。 本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
  論文  参考訳（メタデータ） (2020-05-15T06:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。