論文の概要: SeLIP: Similarity Enhanced Contrastive Language Image Pretraining for Multi-modal Head MRI

• arxiv url: http://arxiv.org/abs/2503.19801v1
• Date: Tue, 25 Mar 2025 16:09:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:51:44.273070
• Title: SeLIP: Similarity Enhanced Contrastive Language Image Pretraining for Multi-modal Head MRI
• Title（参考訳）: SeLIP: マルチモーダル頭部MRIにおけるコントラスト言語画像の類似性向上
• Authors: Zhiyang Liu, Dong Yang, Minghao Zhang, Hanyu Sun, Hong Wu, Huiying Wang, Wen Shen, Chao Chai, Shuang Xia,
• Abstract要約: 画像とそれに対応する放射線学的所見の対比学習を用いて, マルチモデル頭部MRIの基礎モデルを構築することを提案する。 提案した類似性強化コントラスト言語画像事前学習(SeLIP)は,より有用な特徴を効果的に抽出することができる。
• 参考スコア（独自算出の注目度）: 6.714491893348051
• License:
• Abstract: Despite that deep learning (DL) methods have presented tremendous potential in many medical image analysis tasks, the practical applications of medical DL models are limited due to the lack of enough data samples with manual annotations. By noting that the clinical radiology examinations are associated with radiology reports that describe the images, we propose to develop a foundation model for multi-model head MRI by using contrastive learning on the images and the corresponding radiology findings. In particular, a contrastive learning framework is proposed, where a mixed syntax and semantic similarity matching metric is integrated to reduce the thirst of extreme large dataset in conventional contrastive learning framework. Our proposed similarity enhanced contrastive language image pretraining (SeLIP) is able to effectively extract more useful features. Experiments revealed that our proposed SeLIP performs well in many downstream tasks including image-text retrieval task, classification task, and image segmentation, which highlights the importance of considering the similarities among texts describing different images in developing medical image foundation models.
• Abstract（参考訳）: 深層学習(DL)法は多くの医用画像解析タスクにおいて大きな可能性を示しているが、手動アノテーションによる十分なデータサンプルが不足しているため、医療用DLモデルの実用的応用は限られている。 臨床放射線検査は画像を記述する放射線学報告に関連があることに留意して,画像とそれに対応する放射線学所見の対比学習を用いて,マルチモデル頭部MRIの基礎モデルを開発することを提案する。 特にコントラスト学習フレームワークを提案し,従来のコントラスト学習フレームワークでは,極端な大規模データセットの渇きを減らすために,構文と意味的類似度が混合されている。 提案した類似性強化コントラスト言語画像事前学習(SeLIP)は,より有用な特徴を効果的に抽出することができる。 実験の結果,提案するSeLIPは画像テキスト検索タスク,分類タスク,画像セグメンテーションなど,多くの下流タスクにおいて良好に機能し,医用画像基盤モデルの開発において,異なる画像を記述するテキスト間の類似性を検討することが重要であることがわかった。

関連論文リスト

• OTCXR: Rethinking Self-supervised Alignment using Optimal Transport for Chest X-ray Analysis [6.4136876268620115]
  自己教師付き学習(SSL)は,X線などの医学的モダリティを解析するための有望な手法として登場した。 我々は,OTCXRを提案する。OTCXRは最適なトランスポート(OT)を利用して,密接なセマンティック不変性を学習する新しいSSLフレームワークである。 我々はOTCXRの有効性を3つの公開胸部X線データセットの総合的な実験により検証した。
  論文  参考訳（メタデータ） (2024-04-18T02:59:48Z)
• Cross-model Mutual Learning for Exemplar-based Medical Image Segmentation [25.874281336821685]
  Exemplar-based Medical Image(CMEMS)のためのクロスモデル相互学習フレームワーク 外来医用画像のためのクロスモデル相互学習フレームワーク(CMEMS)について紹介する。
  論文  参考訳（メタデータ） (2024-04-18T00:18:07Z)
• MLIP: Enhancing Medical Visual Representation with Divergence Encoder and Knowledge-guided Contrastive Learning [48.97640824497327]
  本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。 我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。 特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
  論文  参考訳（メタデータ） (2024-02-03T05:48:50Z)
• MLIP: Medical Language-Image Pre-training with Masked Local Representation Learning [20.33625985769796]
  既存のコントラスト言語画像事前学習は、豊富な画像とテキストのペアをマッチングすることで、共同表現を学習することを目的としている。 本稿では,限られた画像テキストの医療データをより効率的に活用する医用言語-画像事前学習フレームワークを提案する。 評価の結果、MLIPはゼロ/フェーショット分類や少数ショット分割タスクにおいて、従来よりも大きなマージンで性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2024-01-03T07:54:13Z)
• VALD-MD: Visual Attribution via Latent Diffusion for Medical Diagnostics [0.0]
  医用画像における視覚的属性は、医用画像の診断関連成分を明確にすることを目指している。 本稿では、潜在拡散モデルとドメイン固有大言語モデルを組み合わせた新しい生成的視覚属性手法を提案する。 結果として生じるシステムは、ゼロショット局所化疾患誘導を含む様々な潜在能力を示す。
  論文  参考訳（メタデータ） (2024-01-02T19:51:49Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Semantic segmentation of multispectral photoacoustic images using deep learning [53.65837038435433]
  光音響イメージングは医療に革命をもたらす可能性がある。 この技術の臨床的翻訳には、高次元取得したデータを臨床的に関連性があり解釈可能な情報に変換する必要がある。 本稿では,多スペクトル光音響画像のセマンティックセグメンテーションに対する深層学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-20T09:33:55Z)
• Few-shot Medical Image Segmentation using a Global Correlation Network with Discriminative Embedding [60.89561661441736]
  医療画像分割のための新しい手法を提案する。 深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。 深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
  論文  参考訳（メタデータ） (2020-12-10T04:01:07Z)
• Interpretable and synergistic deep learning for visual explanation and statistical estimations of segmentation of disease features from medical images [0.0]
  医学画像からの病因分類やセグメンテーションのための深層学習(DL)モデルは、無関係な自然界画像からの伝達学習(TL)を用いて、ますます訓練されている。 TL後バイナリセグメンテーションに広く用いられているDLアーキテクチャの比較,厳密な統計的解析,および比較について報告する。 TIIおよびLMIモデル、コード、10,000以上の医療画像の無料GitHubリポジトリと、この研究からのGrad-CAM出力は、高度な計算医学の出発点として利用できる。
  論文  参考訳（メタデータ） (2020-11-11T14:08:17Z)
• Pathological Retinal Region Segmentation From OCT Images Using Geometric Relation Based Augmentation [84.7571086566595]
  本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。 提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
  論文  参考訳（メタデータ） (2020-03-31T11:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。