論文の概要: Improving Medical Visual Representation Learning with Pathological-level Cross-Modal Alignment and Correlation Exploration

• arxiv url: http://arxiv.org/abs/2506.10573v1
• Date: Thu, 12 Jun 2025 11:01:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.693106
• Title: Improving Medical Visual Representation Learning with Pathological-level Cross-Modal Alignment and Correlation Exploration
• Title（参考訳）: 病理レベルのクロスモーダルアライメントと相関探索による医用視覚表現学習の改善
• Authors: Jun Wang, Lixing Zhu, Xiaohan Yu, Abhir Bhalerao, Yulan He,
• Abstract要約: 画像と報告の両方から病理観察の一貫性を最大化するために,新しい病理レベルの相互アライメント(PCMA)手法を提案する。 PCMAモジュールは外部の疾患アノテーションとは独立して動作し,本手法の汎用性と堅牢性を高める。 実験により,提案するフレームワークは,複数の下流タスクにおいて,新しい最先端性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 21.260659596426184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning medical visual representations from image-report pairs through joint learning has garnered increasing research attention due to its potential to alleviate the data scarcity problem in the medical domain. The primary challenges stem from the lengthy reports that feature complex discourse relations and semantic pathologies. Previous works have predominantly focused on instance-wise or token-wise cross-modal alignment, often neglecting the importance of pathological-level consistency. This paper presents a novel framework PLACE that promotes the Pathological-Level Alignment and enriches the fine-grained details via Correlation Exploration without additional human annotations. Specifically, we propose a novel pathological-level cross-modal alignment (PCMA) approach to maximize the consistency of pathology observations from both images and reports. To facilitate this, a Visual Pathology Observation Extractor is introduced to extract visual pathological observation representations from localized tokens. The PCMA module operates independently of any external disease annotations, enhancing the generalizability and robustness of our methods. Furthermore, we design a proxy task that enforces the model to identify correlations among image patches, thereby enriching the fine-grained details crucial for various downstream tasks. Experimental results demonstrate that our proposed framework achieves new state-of-the-art performance on multiple downstream tasks, including classification, image-to-text retrieval, semantic segmentation, object detection and report generation.
• Abstract（参考訳）: 医用領域におけるデータ不足を緩和する可能性から,共同学習を通じて画像-レポートペアから医用視覚表現を学習することが研究の注目を集めている。 主な課題は、複雑な談話関係と意味論を特徴とする長い報告に由来する。 従来の研究は、多くの場合、病的レベルの一貫性の重要性を無視して、インスタンスワイドまたはトークンワイドのクロスモーダルアライメントに重点を置いてきた。 本稿では,病理レベルアライメントを促進する新しいフレームワークPLACEについて述べる。 具体的には、画像とレポートの両方からの病理観察の一貫性を最大化するために、新しい病理レベルのクロスモーダルアライメント(PCMA)アプローチを提案する。 これを容易にするために、局所化トークンから視覚病理学的観察表現を抽出するために、視覚病理学的観察エクストラクタが導入された。 PCMAモジュールは外部の疾患アノテーションとは独立して動作し,本手法の汎用性と堅牢性を高める。 さらに,画像パッチ間の相関関係の同定にモデルを強制するプロキシタスクを設計し,様々な下流タスクに不可欠な細かな詳細情報を強化する。 実験により,本フレームワークは,分類,画像からテキストへの検索,セマンティックセグメンテーション,オブジェクト検出,レポート生成など,複数のダウンストリームタスクにおいて,新たな最先端性能を実現することを示す。

関連論文リスト

• Meta-Entity Driven Triplet Mining for Aligning Medical Vision-Language Models [9.76070837929117]
  既存のアライメント手法は、微粒な病理属性の分離よりも病気のクラス間の分離を優先する。 本稿では,マルチモーダル三重項学習による画像テキストアライメントを向上させる新しい手法であるMedTrimを提案する。 我々の実証では,MedTrimは,最先端のアライメント手法と比較して,下流検索および分類タスクの性能を向上させることが示されている。
  論文  参考訳（メタデータ） (2025-04-22T14:17:51Z)
• See Detail Say Clear: Towards Brain CT Report Generation via Pathological Clue-driven Representation Learning [12.40415847810958]
  本稿では,病的手がかりに基づくクロスモーダルな表現を構築するためのPCRLモデルを提案する。 具体的には,分類領域,病理実体,報告テーマの観点から,病理的手がかりを構築した。 テキスト生成タスクの表現に適応するため,タスク調整命令を統一した大言語モデル(LLM)を用いて,表現学習とレポート生成のギャップを埋める。
  論文  参考訳（メタデータ） (2024-09-29T12:08:20Z)
• MLIP: Enhancing Medical Visual Representation with Divergence Encoder and Knowledge-guided Contrastive Learning [48.97640824497327]
  本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。 我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。 特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
  論文  参考訳（メタデータ） (2024-02-03T05:48:50Z)
• Cross-Modal Causal Intervention for Medical Report Generation [107.76649943399168]
  放射線医学報告生成(RRG)は, コンピュータ支援診断と薬剤指導に不可欠である。 視覚言語的バイアスによる急激な相関により、正確な病変記述の生成は依然として困難である。 我々はCrossModal Causal Representation Learning (CMCRL)という2段階のフレームワークを提案する。 IU-XrayとMIMIC-CXRの実験により、我々のCMCRLパイプラインは最先端の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2023-03-16T07:23:55Z)
• Multi-Granularity Cross-modal Alignment for Generalized Medical Visual Representation Learning [24.215619918283462]
  本報告では, 医用画像の表現を直接学習するための新しい枠組みについて述べる。 本フレームワークは,医用画像と放射線学レポートの自然に現れる意味的対応を3段階に分けて活用する。
  論文  参考訳（メタデータ） (2022-10-12T09:31:39Z)
• Few-shot Medical Image Segmentation using a Global Correlation Network with Discriminative Embedding [60.89561661441736]
  医療画像分割のための新しい手法を提案する。 深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。 深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
  論文  参考訳（メタデータ） (2020-12-10T04:01:07Z)
• Proactive Pseudo-Intervention: Causally Informed Contrastive Learning For Interpretable Vision Models [103.64435911083432]
  PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。 PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。 また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
  論文  参考訳（メタデータ） (2020-12-06T20:30:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。