論文の概要: Multimodal Semantic-Aware Contrastive Learning For False Negative Mitigation in 3D Medical Imaging
- arxiv url: http://arxiv.org/abs/2607.14995v1
- Date: Thu, 16 Jul 2026 13:45:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.125751
- Title: Multimodal Semantic-Aware Contrastive Learning For False Negative Mitigation in 3D Medical Imaging
- Title(参考訳): 3次元医用画像における偽陰性軽減のためのマルチモーダル・セマンティック・アウェア・コントラスト学習
- Authors: Sara Ketabi, Matthias W. Wagner, Cynthia Hawkins, Uri Tabori, Birgit Betina Ertl-Wagner, Farzad Khalvati,
- Abstract要約: マルチモーダル・コントラシブ・ラーニング(CL)は、様々なデータモダリティにまたがる表現の整合において顕著な性能を示した。
MseaCL(Multimodal Semantic-Aware Contrastive Learning)は、3次元脳磁気共鳴画像(MRI)スキャンと放射線診断の小児コホートに基づいて訓練されたCLフレームワークである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal Contrastive Learning (CL) has shown significant performance in aligning representations across various data modalities and improving downstream tasks, especially in healthcare. It works by minimizing the distance between matched (positive) data modalities, while maximizing the distance between mismatched (negative) samples. Traditional CL frameworks typically assume instance-based correspondence within data batches, treating all non-paired samples as negatives. However, this assumption often fails in medical settings, where samples may share high-level semantic attributes, leading to false negatives that degrade representation quality. In this paper, we propose Multimodal Semantic-Aware Contrastive Learning (MseaCL), a CL framework trained on a pediatric cohort of 3D brain magnetic resonance imaging (MRI) scans and radiology reports. The goal of this framework is to mitigate the impact of semantically similar false negative samples by incorporating semantic similarity between radiology reports, as a guiding signal during the learning process. Our results indicate that applying this framework as a pretraining stage can achieve notable improvements in downstream tasks, e.g., at least a 22.6\% increase in the area under the receiver operating characteristic curve (AUC) of pediatric brain tumor molecular classification, demonstrating its potential for more robust and semantically aligned multimodal representations in clinical applications.
- Abstract(参考訳): マルチモーダル・コントラシブ・ラーニング(CL)は、様々なデータモダリティにまたがる表現の整合、下流のタスクの改善、特に医療における顕著なパフォーマンスを示している。
これは一致した(正の)データモダリティ間の距離を最小化し、ミスマッチした(負の)サンプル間の距離を最大化する。
従来のCLフレームワークは、典型的にはデータバッチ内でインスタンスベースの対応を前提としており、すべての非ペアのサンプルを負として扱う。
しかし、この仮定は、しばしば医学的な設定で失敗し、サンプルは高いレベルのセマンティック属性を共有し、表現品質を低下させる偽陰性を引き起こす。
本稿では,3次元脳磁気共鳴画像(MRI)スキャンと放射線診断を併用した小児コホートを訓練したCLフレームワークであるMseaCLを提案する。
本フレームワークの目的は,学習過程における指導信号として,放射線学報告間の意味的類似性を取り入れることで,意味論的に類似した偽陰性サンプルの影響を軽減することである。
以上の結果から,本フレームワークをプレトレーニング段階に応用することで,臨床応用においてより堅牢で意味的に整合したマルチモーダル表現の可能性を示した。
関連論文リスト
- Synergistic Perception-Reasoning Governance: Grounding Medical MLLMs with Verifiable Anatomical Evidence [45.78409219344429]
マルチモーダル大言語モデル (MLLM) は, 臨床VQAと放射線学報告の生成に強い期待を示すが, 推測時幻覚は信頼性を損なう。
本稿では,両面のエビデンス注入による幻覚を系統的に緩和する,総合的かつトレーニング不要なエビデンス注入フレームワークを提案する。
textttLLaVA-1.5-7B, texttLLaVA-Med-1.5-7B, texttQwen3-VL-8B/32B, textttInternVL を用いた2つのタスクと5つのデータセットの系統的評価を行った。
論文 参考訳(メタデータ) (2026-06-30T08:07:25Z) - Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。
テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
論文 参考訳(メタデータ) (2026-06-17T08:10:30Z) - Representation Learning with Semantic-aware Instance and Sparse Token Alignments [2.1008762019705434]
本稿では,多レベルアライメントフレームワークであるRepresentation Learning with Semantic-Aware Instance and Sparse Token Alignments (SISTA)を提案する。
報告間類似性を取り入れて従来のコントラスト学習を改善し,偽陰性を排除した。
我々のフレームワークはラベル付きデータでもきめ細かなタスクを大幅に改善します。
論文 参考訳(メタデータ) (2026-01-13T02:55:48Z) - Adapting HFMCA to Graph Data: Self-Supervised Learning for Generalizable fMRI Representations [57.054499278843856]
機能的磁気共鳴画像(fMRI)解析は、データセットのサイズが限られ、研究間でのドメインの変動が原因で大きな課題に直面している。
コンピュータビジョンにインスパイアされた従来の自己教師付き学習手法は、正と負のサンプルペアに依存することが多い。
本稿では,最近開発された階層関数最大相関アルゴリズム(HFMCA)をグラフ構造fMRIデータに適用することを提案する。
論文 参考訳(メタデータ) (2025-10-05T12:35:01Z) - Uncertainty-aware Cross-training for Semi-supervised Medical Image Segmentation [45.96892342675963]
半教師型医療画像(UC-Seg)のための不確実性を考慮したクロストレーニングフレームワークを提案する。
本手法は,他の最先端半教師付き手法と比較して,セグメンテーション精度と一般化性能に優れる。
論文 参考訳(メタデータ) (2025-08-12T15:28:10Z) - Meta-Entity Driven Triplet Mining for Aligning Medical Vision-Language Models [9.76070837929117]
既存のアライメント手法は、微粒な病理属性の分離よりも病気のクラス間の分離を優先する。
本稿では,マルチモーダル三重項学習による画像テキストアライメントを向上させる新しい手法であるMedTrimを提案する。
我々の実証では,MedTrimは,最先端のアライメント手法と比較して,下流検索および分類タスクの性能を向上させることが示されている。
論文 参考訳(メタデータ) (2025-04-22T14:17:51Z) - Domain Transfer Through Image-to-Image Translation for Uncertainty-Aware Prostate Cancer Classification [42.75911994044675]
前立腺MRIの非対位画像翻訳のための新しいアプローチと臨床的に重要なPCaを分類するための不確実性認識トレーニングアプローチを提案する。
提案手法では,無ペアの3.0T多パラメータ前立腺MRIを1.5Tに翻訳し,利用可能なトレーニングデータを増強する。
実験の結果,提案手法は,従来の研究に比べてAUC(Area Under ROC Curve)を20%以上改善することがわかった。
論文 参考訳(メタデータ) (2023-07-02T05:26:54Z) - Multi-Scale Cross Contrastive Learning for Semi-Supervised Medical Image
Segmentation [14.536384387956527]
医用画像の構造を分割するマルチスケールクロススーパービジョンコントラスト学習フレームワークを開発した。
提案手法は,頑健な特徴表現を抽出するために,地上構造と横断予測ラベルに基づくマルチスケール特徴と対比する。
Diceでは最先端の半教師あり手法を3.0%以上上回っている。
論文 参考訳(メタデータ) (2023-06-25T16:55:32Z) - Rethinking Semi-Supervised Medical Image Segmentation: A
Variance-Reduction Perspective [51.70661197256033]
医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。
まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。
5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
論文 参考訳(メタデータ) (2023-02-03T13:50:25Z) - Successive Subspace Learning for Cardiac Disease Classification with
Two-phase Deformation Fields from Cine MRI [36.044984400761535]
本研究は,CVD分類のための軽量な逐次サブスペース学習フレームワークを提案する。
解釈可能なフィードフォワードデザインに基づいており、心房と組み合わせている。
3D CNNベースのアプローチと比較して、我々のフレームワークは140$times$より少ないパラメータで優れた分類性能を実現する。
論文 参考訳(メタデータ) (2023-01-21T15:00:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。