論文の概要: XLIP: Cross-modal Attention Masked Modelling for Medical Language-Image Pre-Training

• arxiv url: http://arxiv.org/abs/2407.19546v2
• Date: Fri, 2 Aug 2024 10:53:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 15:40:20.145360
• Title: XLIP: Cross-modal Attention Masked Modelling for Medical Language-Image Pre-Training
• Title（参考訳）: XLIP:医療用言語画像事前学習のためのクロスモーダル・アテンション・マスクド・モデリング
• Authors: Biao Wu, Yutong Xie, Zeyu Zhang, Minh Hieu Phan, Qi Chen, Ling Chen, Qi Wu,
• Abstract要約: 視覚と言語による事前学習は、画像とテキストのペアにおける対照的な学習を用いて、タスク間の効果的な伝達を実現する。 現在のモデルは、医療データの不足により、重要な病理的特徴を正確に再構築するのに苦労している。 本稿では,XLIP(Masked modelling for Medical Language-Image Pre-Training)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 29.02600107837688
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Vision-and-language pretraining (VLP) in the medical field utilizes contrastive learning on image-text pairs to achieve effective transfer across tasks. Yet, current VLP approaches with the masked modelling strategy face two challenges when applied to the medical domain. First, current models struggle to accurately reconstruct key pathological features due to the scarcity of medical data. Second, most methods only adopt either paired image-text or image-only data, failing to exploit the combination of both paired and unpaired data. To this end, this paper proposes a XLIP (Masked modelling for medical Language-Image Pre-training) framework to enhance pathological learning and feature learning via unpaired data. First, we introduce the attention-masked image modelling (AttMIM) and entity-driven masked language modelling module (EntMLM), which learns to reconstruct pathological visual and textual tokens via multi-modal feature interaction, thus improving medical-enhanced features. The AttMIM module masks a portion of the image features that are highly responsive to textual features. This allows XLIP to improve the reconstruction of highly similar image data in medicine efficiency. Second, our XLIP capitalizes unpaired data to enhance multimodal learning by introducing disease-kind prompts. The experimental results show that XLIP achieves SOTA for zero-shot and fine-tuning classification performance on five datasets. Our code will be available at https://github.com/White65534/XLIP
• Abstract（参考訳）: 医療分野におけるVLP(Vision-and-Language Pretraining)は、画像テキストペアのコントラスト学習を利用して、タスク間の効果的な伝達を実現する。 しかし、現在のVLPアプローチでは、医療領域に適用する場合、マスク付きモデリング戦略が2つの課題に直面している。 第一に、現在のモデルは、医療データの不足のため、重要な病理的特徴を正確に再構築するのに苦労している。 第二に、ほとんどのメソッドはペア化された画像テキストまたはイメージのみのデータのみを採用しており、ペア化されたデータとペアなしのデータの組み合わせを利用できない。 そこで本稿では,XLIP(Masked modelling for Medical Language-Image Pre-Training)フレームワークを提案する。 まず、マルチモーダルな特徴の相互作用によって、病理的視覚的およびテキスト的トークンを再構築し、医療的特徴を改善することを学ぶ、AttMIM(AttMIM)とエンティティ駆動型マスキング言語モデリングモジュール(EntMLM)を紹介する。 AttMIMモジュールは、テキスト機能に非常に反応する画像機能の一部をマスクする。 これにより、XLIPは医療効率において、非常に類似した画像データの再構成を改善することができる。 第2に、XLIPは、病原性プロンプトを導入してマルチモーダル学習を強化するために、不適切なデータを大まかに活用する。 実験結果から,XLIPは5つのデータセットに対してゼロショットおよび微調整による分類性能のSOTAを実現することがわかった。 私たちのコードはhttps://github.com/White65534/XLIPで利用可能です。

関連論文リスト

• LoGra-Med: Long Context Multi-Graph Alignment for Medical Vision-Language Model [55.80651780294357]
  最新の医療用マルチモーダル大規模言語モデル(med-MLLM)は、事前訓練において命令追従データを活用する。 LoGra-Medは新しいマルチグラフアライメントアルゴリズムで、画像のモダリティ、会話ベースの記述、拡張キャプション間でのトリプルト相関を強制する。 以上の結果から,LoGra-Medは医療用VQAの600K画像テキスト対に対してLAVA-Medと一致し,その10%でトレーニングした場合に有意に優れていた。
  論文  参考訳（メタデータ） (2024-10-03T15:52:03Z)
• Enhanced Self-supervised Learning for Multi-modality MRI Segmentation and Classification: A Novel Approach Avoiding Model Collapse [6.3467517115551875]
  多モードMRI(Multi-modality magnetic resonance imaging)は、コンピュータ支援診断のための補完的な情報を提供する。 従来のディープラーニングアルゴリズムは、病変をセグメント化し、磁気共鳴画像で疾患を分類する特定の解剖学的構造を特定するのに適している。 自己教師付き学習(SSL)は、事前学習によりラベル付きデータから特徴表現を効果的に学習することができ、自然画像解析に有効であることが示されている。 ほとんどのSSLメソッドはマルチモードMRIの類似性を無視し、モデルが崩壊する。 ハイブリッドマスクパターン(HMP)とピラミッドバーローツイン(PBT)を組み合わせた多モードMRIマスク自動エンコーダの確立と検証を行った。
  論文  参考訳（メタデータ） (2024-07-15T01:11:30Z)
• MLIP: Medical Language-Image Pre-training with Masked Local Representation Learning [20.33625985769796]
  既存のコントラスト言語画像事前学習は、豊富な画像とテキストのペアをマッチングすることで、共同表現を学習することを目的としている。 本稿では,限られた画像テキストの医療データをより効率的に活用する医用言語-画像事前学習フレームワークを提案する。 評価の結果、MLIPはゼロ/フェーショット分類や少数ショット分割タスクにおいて、従来よりも大きなマージンで性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2024-01-03T07:54:13Z)
• CXR-CLIP: Toward Large Scale Chest X-ray Language-Image Pre-training [6.292642131180376]
  本稿では,胸部X線における画像テキストデータの欠如に対処し,画像テキストペアを一般プロンプトを介して画像テキストペアとして拡張する。 また,医学画像とレポートの学習レベルの特徴を学習するために,ICLとTCLという2つの対照的な損失を設計した。 我々のモデルは、同じ条件下で訓練された最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2023-10-20T05:44:55Z)
• Disruptive Autoencoders: Leveraging Low-level features for 3D Medical Image Pre-training [51.16994853817024]
  本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。 ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。 提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-07-31T17:59:42Z)
• Multiscale Progressive Text Prompt Network for Medical Image Segmentation [10.121625177837931]
  本稿では,先行知識としてプログレッシブテキストプロンプトを用いてセグメンテーションプロセスを導くことを提案する。 このモデルでは,データアノテーションのコストを低くして高品質な結果が得られる。
  論文  参考訳（メタデータ） (2023-06-30T23:37:16Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• Masked Vision and Language Modeling for Multi-modal Representation Learning [62.15254888833132]
  視覚と言語(V+L)表現学習におけるマスク信号モデリングの使い方について検討する。 我々は,あるモダリティのマスク信号が他のモダリティの助けを借りて再構成される,共同マスク型視覚と言語モデリングを構築することを提案する。 種々のV+Lタスクに対する実験により,提案手法は大量のデータを用いて最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-08-03T15:11:01Z)
• Self-supervised Image-text Pre-training With Mixed Data In Chest X-rays [10.398175542736285]
  混合データ入力から学習できる画像テキスト事前学習フレームワークを紹介します。 混合データ入力における事前学習の可能性を示す。 また、3つの胸部x線アプリケーションに事前訓練されたモデルを適用する利点についても述べる。
  論文  参考訳（メタデータ） (2021-03-30T01:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。