論文の概要: MedBLIP: Bootstrapping Language-Image Pre-training from 3D Medical Images and Texts

• arxiv url: http://arxiv.org/abs/2305.10799v1
• Date: Thu, 18 May 2023 08:19:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 16:13:30.455703
• Title: MedBLIP: Bootstrapping Language-Image Pre-training from 3D Medical Images and Texts
• Title（参考訳）: MedBLIP:3次元医用画像とテキストからのブートストラップ言語画像事前学習
• Authors: Qiuhui Chen, Xinyue Hu, Zirui Wang, Yi Hong
• Abstract要約: 電子カルテにおける画像スキャンとテキスト記述に基づくコンピュータ支援診断(CAD)のための視覚言語事前学習モデルを開発した。 目的を達成するために,軽量CADシステムMedBLIPを提案する。 5つの公的アルツハイマー病(AD)データセットから3万枚以上の画像データを収集します。
• 参考スコア（独自算出の注目度）: 13.100459580864314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language pre-training (VLP) models have been demonstrated to be effective in many computer vision applications. In this paper, we consider developing a VLP model in the medical domain for making computer-aided diagnoses (CAD) based on image scans and text descriptions in electronic health records, as done in practice. To achieve our goal, we present a lightweight CAD system MedBLIP, a new paradigm for bootstrapping VLP from off-the-shelf frozen pre-trained image encoders and frozen large language models. We design a MedQFormer module to bridge the gap between 3D medical images and 2D pre-trained image encoders and language models as well. To evaluate the effectiveness of our MedBLIP, we collect more than 30,000 image volumes from five public Alzheimer's disease (AD) datasets, i.e., ADNI, NACC, OASIS, AIBL, and MIRIAD. On this largest AD dataset we know, our model achieves the SOTA performance on the zero-shot classification of healthy, mild cognitive impairment (MCI), and AD subjects, and shows its capability of making medical visual question answering (VQA). The code and pre-trained models is available online: https://github.com/Qybc/MedBLIP.
• Abstract（参考訳）: 視覚言語事前学習(VLP)モデルは、多くのコンピュータビジョンアプリケーションで有効であることが示されている。 本稿では,医療領域における画像スキャンと電子健康記録のテキスト記述に基づくコンピュータ支援診断(CAD)作成のためのVLPモデルの開発について検討する。 我々の目標を達成するために,本研究では,市販のフリートイメージエンコーダと大規模言語モデルからVLPをブートストラップする,軽量CADシステムMedBLIPを提案する。 我々は、3次元医用画像と2次元事前学習画像エンコーダと言語モデルとのギャップを埋めるためのMedQFormerモジュールを設計する。 MedBLIPの有効性を評価するため,ADNI,NACC,OASIS,AIBL,MIRIADの5つの公的アルツハイマー病(AD)データセットから3万枚以上の画像データを収集した。 私たちが知っているこの最大のADデータセットでは、健常者、軽度認知障害(MCI)、AD患者のゼロショット分類におけるSOTA性能を達成し、医療的視覚的質問応答(VQA)の能力を示す。 コードと事前訓練されたモデルはオンラインで入手できる。

関連論文リスト

• LoGra-Med: Long Context Multi-Graph Alignment for Medical Vision-Language Model [55.80651780294357]
  最新の医療用マルチモーダル大規模言語モデル(med-MLLM)は、事前訓練において命令追従データを活用する。 LoGra-Medは新しいマルチグラフアライメントアルゴリズムで、画像のモダリティ、会話ベースの記述、拡張キャプション間でのトリプルト相関を強制する。 以上の結果から,LoGra-Medは医療用VQAの600K画像テキスト対に対してLAVA-Medと一致し,その10%でトレーニングした場合に有意に優れていた。
  論文  参考訳（メタデータ） (2024-10-03T15:52:03Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• M3D: Advancing 3D Medical Image Analysis with Multi-Modal Large Language Models [49.5030774873328]
  これまでの研究は主に2Dの医療画像に焦点を合わせてきた。 120K画像テキスト対と62K命令応答対からなる大規模3次元マルチモーダル医療データセットM3D-Dataを提案する。 また,新しい3次元マルチモーダル・メディカル・ベンチマークであるM3D-Benchを導入し,8つのタスクにまたがる自動評価を容易にする。
  論文  参考訳（メタデータ） (2024-03-31T06:55:12Z)
• Med3DInsight: Enhancing 3D Medical Image Understanding with 2D Multi-Modal Large Language Models [1.64647940449869]
  既存の3D畳み込みとトランスフォーマーベースの手法は、画像ボリュームのセマンティックな理解が限られている。 既存の3D画像エンコーダを2D MLLMでマージし,PSAT(Plane-Slice-Aware Transformer)モジュールを介してブリッジするMed3DInsightを提案する。
  論文  参考訳（メタデータ） (2024-03-08T08:15:53Z)
• Freeze the backbones: A Parameter-Efficient Contrastive Approach to Robust Medical Vision-Language Pre-training [15.790435273150083]
  本稿では,事前に訓練した画像やテキストエンコーダの医療知識を凍結保存して保存するバックボーン非依存型適応フレームワークを提案する。 当社のフレームワークは,既存の事前トレーニングアプローチと比較して,トレーニング可能なパラメータを90%以上削減しながら,競争力のあるパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-01-02T12:14:41Z)
• MedShapeNet -- A Large-Scale Dataset of 3D Medical Shapes for Computer Vision [119.29105800342779]
  MedShapeNetは、医療アプリケーションへのデータ駆動ビジョンアルゴリズムの翻訳を容易にするために開発された。 ユニークな特徴として、実際の患者の画像データに基づいて、形状の大部分を直接モデル化する。 私たちのデータは、WebインターフェースとPythonアプリケーションプログラミングインターフェース(API)を介して自由にアクセスでき、差別的、再構成的、変動的なベンチマークに使用できます。
  論文  参考訳（メタデータ） (2023-08-30T16:52:20Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Customizing General-Purpose Foundation Models for Medical Report Generation [64.31265734687182]
  ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。 本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:02:36Z)
• Self-supervised vision-language pretraining for Medical visual question answering [9.073820229958054]
  そこで本稿では,M2I2 による事前学習に Masked 画像モデリング, Masked 言語モデリング, 画像テキストマッチング, 画像テキストアライメントを適用した自己教師付き手法を提案する。 提案手法は,3つの医療用VQAデータセットのすべてに対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-11-24T13:31:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。