論文の概要: Mammo-CLIP: Leveraging Contrastive Language-Image Pre-training (CLIP) for Enhanced Breast Cancer Diagnosis with Multi-view Mammography

• arxiv url: http://arxiv.org/abs/2404.15946v1
• Date: Wed, 24 Apr 2024 16:07:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 18:51:25.107084
• Title: Mammo-CLIP: Leveraging Contrastive Language-Image Pre-training (CLIP) for Enhanced Breast Cancer Diagnosis with Multi-view Mammography
• Title（参考訳）: Mammo-CLIP:マルチビューマンモグラフィーによる乳がん診断におけるコントラスト言語画像前訓練(CLIP)の活用
• Authors: Xuxin Chen, Yuheng Li, Mingzhe Hu, Ella Salari, Xiaoqian Chen, Richard L. J. Qiu, Bin Zheng, Xiaofeng Yang,
• Abstract要約: Mammo-CLIPはマルチビューマンモグラムと対応する単純なテキストを処理する最初のマルチモーダルフレームワークである。 学習効率を向上させるため、CLIPイメージと微調整パラメータ用のテキストエンコーダにプラグアンドプレイアダプタが加えられている。 その結果,マンモCLIPはAUCの最先端のクロスビュートランスよりも優れていた。
• 参考スコア（独自算出の注目度）: 6.537171378333966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although fusion of information from multiple views of mammograms plays an important role to increase accuracy of breast cancer detection, developing multi-view mammograms-based computer-aided diagnosis (CAD) schemes still faces challenges and no such CAD schemes have been used in clinical practice. To overcome the challenges, we investigate a new approach based on Contrastive Language-Image Pre-training (CLIP), which has sparked interest across various medical imaging tasks. By solving the challenges in (1) effectively adapting the single-view CLIP for multi-view feature fusion and (2) efficiently fine-tuning this parameter-dense model with limited samples and computational resources, we introduce Mammo-CLIP, the first multi-modal framework to process multi-view mammograms and corresponding simple texts. Mammo-CLIP uses an early feature fusion strategy to learn multi-view relationships in four mammograms acquired from the CC and MLO views of the left and right breasts. To enhance learning efficiency, plug-and-play adapters are added into CLIP image and text encoders for fine-tuning parameters and limiting updates to about 1% of the parameters. For framework evaluation, we assembled two datasets retrospectively. The first dataset, comprising 470 malignant and 479 benign cases, was used for few-shot fine-tuning and internal evaluation of the proposed Mammo-CLIP via 5-fold cross-validation. The second dataset, including 60 malignant and 294 benign cases, was used to test generalizability of Mammo-CLIP. Study results show that Mammo-CLIP outperforms the state-of-art cross-view transformer in AUC (0.841 vs. 0.817, 0.837 vs. 0.807) on both datasets. It also surpasses previous two CLIP-based methods by 20.3% and 14.3%. This study highlights the potential of applying the finetuned vision-language models for developing next-generation, image-text-based CAD schemes of breast cancer.
• Abstract（参考訳）: 乳がん検診の精度を高めるために,マンモグラムの多視点からの情報の融合が重要な役割を担っているが,多視点マンモグラムを用いたコンピュータ支援診断(CAD)手法の開発は依然として課題に直面しており,臨床にはそのようなCAD方式は使われていない。 この課題を克服するため, CLIP(Contrastive Language- Image Pre-Training)に基づく新たなアプローチについて検討した。 マルチビュー機能融合のためのシングルビューCLIPを効果的に適用し、(2)限られたサンプルと計算資源でこのパラメータ密度モデルを効率的に微調整することで、マルチビューマンモグラムと対応する単純なテキストを処理する最初のマルチモーダルフレームワークであるMammo-CLIPを導入する。 Mammo-CLIPは、早期の機能融合戦略を用いて、左右乳房のCCおよびMLOビューから取得した4つのマンモグラムのマルチビュー関係を学習する。 学習効率を向上させるため、CLIPイメージとテキストエンコーダにプラグアンドプレイアダプタを追加して、微調整パラメータを指定し、更新を約1%に制限する。 フレームワークの評価には、2つのデータセットを振り返りに組み立てました。 悪性470例と良性479例からなる最初のデータセットは、5倍のクロスバリデーションにより提案したMammo-CLIPの微調整および内部評価に使用された。 悪性60例,良性294例を含む第2のデータセットを用いて,マンモCLIPの一般化性を検討した。 その結果,Mammo-CLIPはAUC (0.841 vs. 0.817, 0.837 vs. 0.807) の最先端のクロスビュー・トランスフォーマーよりも優れていた。 また、以前の2つのCLIPベースの手法を20.3%、14.3%上回る。 本研究は、乳がんの次世代画像テキストベースのCADスキーム開発に、微調整された視覚言語モデルを適用する可能性を強調した。

関連論文リスト

• Multi-modal Medical Image Fusion For Non-Small Cell Lung Cancer Classification [7.002657345547741]
  非小細胞肺癌(NSCLC)は、世界中のがん死亡の主な原因である。 本稿では, 融合医療画像(CT, PET)と臨床健康記録, ゲノムデータとを合成する, マルチモーダルデータの革新的な統合について紹介する。 NSCLCの検出と分類精度の大幅な向上により,本研究は既存のアプローチを超越している。
  論文  参考訳（メタデータ） (2024-09-27T12:59:29Z)
• Towards Robust Natural-Looking Mammography Lesion Synthesis on Ipsilateral Dual-Views Breast Cancer Analysis [1.1098503592431275]
  マンモグラフィ分類タスクの2つの主要な課題は、マルチビューマンモグラフィ情報とクラスアンバランスハンドリングを活用することである。 補助的な視点から低レベル特徴情報を活用することにより,検討された視点(メインビュー)を強化するための,単純だが斬新な手法を提案する。 また, 単純ながら新規なマンモグラム合成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-07T06:33:30Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
  本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。 AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。 我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
  論文  参考訳（メタデータ） (2023-03-01T23:37:45Z)
• Advancing Radiograph Representation Learning with Masked Record Modeling [52.04899592688968]
  我々は2つの相補的な目的として自己と報告の補完を定式化し、マスク付きレコードモデリング(MRM)に基づく統一的な枠組みを提案する。 MRMは、知識強化されたセマンティック表現を学ぶためのマルチタスクスキームに従って、マスクされた画像パッチとマスクされたレポートトークンを再構築する。 具体的には、MRMはラベル効率の良い微調整において優れた性能を提供する。
  論文  参考訳（メタデータ） (2023-01-30T18:33:32Z)
• Competence-based Multimodal Curriculum Learning for Medical Report Generation [98.10763792453925]
  本稿では,コンピテンスベースのマルチモーダルカリキュラム学習フレームワーク(CMCL)を提案する。 具体的には、CMCLは放射線学者の学習過程をシミュレートし、段階的にモデルを最適化する。 パブリックIU-XrayとMIMIC-CXRデータセットの実験は、CMCLを既存のモデルに組み込んでパフォーマンスを向上させることができることを示している。
  論文  参考訳（メタデータ） (2022-06-24T08:16:01Z)
• Transformers Improve Breast Cancer Diagnosis from Unregistered Multi-View Mammograms [6.084894198369222]
  我々はマルチビュー・ビジョン・トランスフォーマーのアーキテクチャを活用し、同一患者から複数のマンモグラフィーの長距離関係を1回の検査で捉えた。 我々の4画像(2面2面)トランスフォーマーモデルでは、ROC曲線下(AUC = 0.818)でのケース分類が可能である。 また、AUCは0.724(CCビュー)と0.769(MLOビュー)の2つの片面2面モデルより優れている。
  論文  参考訳（メタデータ） (2022-06-21T03:54:21Z)
• Multi-View Hypercomplex Learning for Breast Cancer Screening [7.147856898682969]
  伝統的に、乳がん分類のための深層学習法は単一視点解析を行う。 放射線科医は マンモグラフィー検査を構成する4つのビューを 同時に分析します パラメータ化ハイパープレックスニューラルネットワークを用いた多視点乳がん分類法を提案する。
  論文  参考訳（メタデータ） (2022-04-12T13:32:31Z)
• Malignancy Prediction and Lesion Identification from Clinical Dermatological Images [65.1629311281062]
  臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。 まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
  論文  参考訳（メタデータ） (2021-04-02T20:52:05Z)
• Synthesizing lesions using contextual GANs improves breast cancer classification on mammograms [0.4297070083645048]
  本稿では, マンモグラムの病変を現実的に合成し, 除去するデータ拡張のための, GANモデルを提案する。 自己注意と半教師付き学習コンポーネントにより、U-netベースのアーキテクチャは高解像度(256x256px)の出力を生成することができる。
  論文  参考訳（メタデータ） (2020-05-29T21:23:00Z)
• Co-Heterogeneous and Adaptive Segmentation from Multi-Source and Multi-Phase CT Imaging Data: A Study on Pathological Liver and Lesion Segmentation [48.504790189796836]
  我々は,新しいセグメンテーション戦略,コヘテロジネティック・アダプティブセグメンテーション(CHASe)を提案する。 本稿では,外見に基づく半スーパービジョン,マスクに基づく対向ドメイン適応,擬似ラベルを融合した多目的フレームワークを提案する。 CHASeは4.2% sim 9.4%$の範囲で、病理的な肝臓マスクDice-Sorensen係数をさらに改善することができる。
  論文  参考訳（メタデータ） (2020-05-27T06:58:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。