論文の概要: BiomedCLIP: a multimodal biomedical foundation model pretrained from fifteen million scientific image-text pairs

• arxiv url: http://arxiv.org/abs/2303.00915v2
• Date: Tue, 16 Jan 2024 21:42:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 21:49:07.374704
• Title: BiomedCLIP: a multimodal biomedical foundation model pretrained from fifteen million scientific image-text pairs
• Title（参考訳）: 1500万の科学画像テキストペアから事前訓練した多モードバイオメディカル基礎モデルBiomedCLIP
• Authors: Sheng Zhang, Yanbo Xu, Naoto Usuyama, Hanwen Xu, Jaspreet Bagga, Robert Tinn, Sam Preston, Rajesh Rao, Mu Wei, Naveen Valluri, Cliff Wong, Andrea Tupini, Yu Wang, Matt Mazzola, Swadheen Shukla, Lars Liden, Jianfeng Gao, Matthew P. Lungren, Tristan Naumann, Sheng Wang, and Hoifung Poon
• Abstract要約: PMC-15Mは,既存のバイオメディカル・マルチモーダル・データセットよりも2桁大きい新しいデータセットである。 PMC-15Mは440万の科学論文から収集された1500万のバイオメディカル画像テキスト対を含んでいる。 PMC-15Mに基づいて,生物医学的視覚言語処理に適したドメイン固有適応を備えた多モーダル基礎モデルであるBiomedCLIPを事前訓練した。
• 参考スコア（独自算出の注目度）: 48.376109878173956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biomedical data is inherently multimodal, comprising physical measurements and natural language narratives. A generalist biomedical AI model needs to simultaneously process different modalities of data, including text and images. Therefore, training an effective generalist biomedical model requires high-quality multimodal data, such as parallel image-text pairs. Here, we present PMC-15M, a novel dataset that is two orders of magnitude larger than existing biomedical multimodal datasets such as MIMIC-CXR, and spans a diverse range of biomedical image types. PMC-15M contains 15 million biomedical image-text pairs collected from 4.4 million scientific articles. Based on PMC-15M, we have pretrained BiomedCLIP, a multimodal foundation model, with domain-specific adaptations tailored to biomedical vision-language processing. We conducted extensive experiments and ablation studies on standard biomedical imaging tasks from retrieval to classification to visual question-answering (VQA). BiomedCLIP achieved new state-of-the-art results in a wide range of standard datasets, substantially outperforming prior approaches. Intriguingly, by large-scale pretraining on diverse biomedical image types, BiomedCLIP even outperforms state-of-the-art radiology-specific models such as BioViL in radiology-specific tasks such as RSNA pneumonia detection. In summary, BiomedCLIP is a fully open-access foundation model that achieves state-of-the-art performance on various biomedical tasks, paving the way for transformative multimodal biomedical discovery and applications. We release our models at https://aka.ms/biomedclip to facilitate future research in multimodal biomedical AI.
• Abstract（参考訳）: バイオメディカルデータは本質的にマルチモーダルであり、物理的測定と自然言語の物語を含んでいる。 汎用的なバイオメディカルAIモデルは、テキストや画像を含むさまざまなデータモダリティを同時に処理する必要がある。 したがって、効果的な汎用バイオメディカルモデルのトレーニングには、並列画像とテキストのペアのような高品質なマルチモーダルデータが必要である。 本稿では,muse-cxrのような既存の生体医学的マルチモーダルデータセットよりも2桁大きく,多様な生体医学的画像タイプにまたがる新しいデータセットであるpmc-15mを提案する。 PMC-15Mは440万の科学論文から収集された1500万のバイオメディカル画像テキストを含んでいる。 PMC-15Mに基づいて,生物医学的視覚言語処理に適したドメイン固有適応を備えた多モード基盤モデルであるBiomedCLIPを事前訓練した。 検索から分類,視覚質問応答 (VQA) まで, 標準的なバイオメディカルイメージングタスクに関する広範な実験とアブレーション研究を行った。 BiomedCLIPは、幅広い標準データセットで新しい最先端の成果を達成し、以前のアプローチよりも大幅に向上した。 興味深いことに、バイオメディカルイメージの多様なタイプを大規模に事前訓練することで、バイオメディカルCLIPはRSNA肺炎検出などの放射線学固有のタスクにおいて、バイオビロードのような最先端の放射線学固有のモデルよりも優れている。 まとめると、BiomedCLIPは完全にオープンアクセス基盤モデルであり、様々なバイオメディカルタスクにおける最先端のパフォーマンスを実現し、変換型マルチモーダルバイオメディカル発見と応用の道を開く。 われわれのモデルをhttps://aka.ms/biomedclipでリリースし、マルチモーダルバイオメディカルAIの今後の研究を促進する。

関連論文リスト

• μ-Bench: A Vision-Language Benchmark for Microscopy Understanding [43.27182445778988]
  視覚言語モデル(VLM)は、大規模生物学的画像解析に有望なソリューションを提供する。 VLMを評価するための、標準化された、多様な、そして大規模なビジョンベンチマークが欠如している。 mu-Benchは22のバイオメディカルタスクを含む専門家によるベンチマークである。
  論文  参考訳（メタデータ） (2024-07-01T20:30:26Z)
• A Refer-and-Ground Multimodal Large Language Model for Biomedicine [10.519866875035003]
  Med-GRIT-270kデータセットは、バイオメディカルドメインに初めて専用のデータセットであり、参照と地上の会話を統合している。 本稿では,このデータセットとマルチタスク・インストラクション・ラーニングを用いて,バイオメディシンのためのRefer-and-Ground Multimodal Large Language Model(BiRD)を提案する。
  論文  参考訳（メタデータ） (2024-06-26T07:56:17Z)
• BMRetriever: Tuning Large Language Models as Better Biomedical Text Retrievers [48.21255861863282]
  BMRetrieverは、バイオメディカル検索を強化するための一連の密集したレトリバーである。 BMRetrieverは強力なパラメータ効率を示し、410Mの派生型はベースラインを最大11.7倍まで上回っている。
  論文  参考訳（メタデータ） (2024-04-29T05:40:08Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Multi-level biomedical NER through multi-granularity embeddings and enhanced labeling [3.8599767910528917]
  本稿では,複数のモデルの強みを統合するハイブリッドアプローチを提案する。 BERTは、文脈化された単語の埋め込み、文字レベルの情報キャプチャのための事前訓練されたマルチチャネルCNN、およびテキスト内の単語間の依存関係のシーケンスラベリングとモデル化のためのBiLSTM + CRFを提供する。 我々は、ベンチマークi2b2/2010データセットを用いて、F1スコア90.11を達成する。
  論文  参考訳（メタデータ） (2023-12-24T21:45:36Z)
• BiomedJourney: Counterfactual Biomedical Image Generation by Instruction-Learning from Multimodal Patient Journeys [99.7082441544384]
  本稿では,インストラクション学習によるバイオメディカル画像生成のための新しい手法であるBiomedJourneyを紹介する。 我々は、GPT-4を用いて、対応する画像レポートを処理し、疾患進行の自然言語記述を生成する。 得られた三重項は、反現実的なバイオメディカル画像生成のための潜伏拡散モデルを訓練するために使用される。
  論文  参考訳（メタデータ） (2023-10-16T18:59:31Z)
• Towards Generalist Biomedical AI [28.68106423175678]
  我々は,汎用バイオメディカルAIシステムの概念実証であるMed-PaLM Multimodal(Med-PaLM M)を紹介する。 Med-PaLM Mは、バイオメディカルデータを柔軟にエンコードし解釈する大規模なマルチモーダル生成モデルである。 モデル生成(およびヒト)胸部X線検査の放射線学的評価を行い, モデルスケールでの性能向上を観察した。
  論文  参考訳（メタデータ） (2023-07-26T17:52:22Z)
• LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day [85.19963303642427]
  本稿では,バイオメディカルイメージのオープンな研究課題に答えられる視覚言語対話アシスタントを訓練するための費用効率のよいアプローチを提案する。 モデルはまず、フィギュア・キャプションのペアを使ってバイオメディカル・ボキャブラリをアライメントし、その後、オープンエンドの会話意味論を習得する。 これにより、バイオメディジンのための大規模言語と視覚アシスタントを15時間以内で(8つのA100で)訓練することができる。
  論文  参考訳（メタデータ） (2023-06-01T16:50:07Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。