論文の概要: LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day

• arxiv url: http://arxiv.org/abs/2306.00890v1
• Date: Thu, 1 Jun 2023 16:50:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 14:28:17.973150
• Title: LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day
• Title（参考訳）: LLaVA-Med: バイオメディシンのための大規模言語・視覚アシスタントを1日でトレーニング
• Authors: Chunyuan Li, Cliff Wong, Sheng Zhang, Naoto Usuyama, Haotian Liu, Jianwei Yang, Tristan Naumann, Hoifung Poon, Jianfeng Gao
• Abstract要約: 本稿では,バイオメディカルイメージのオープンな研究課題に答えられる視覚言語対話アシスタントを訓練するための費用効率のよいアプローチを提案する。 モデルはまず、フィギュア・キャプションのペアを使ってバイオメディカル・ボキャブラリをアライメントし、その後、オープンエンドの会話意味論を習得する。 これにより、バイオメディジンのための大規模言語と視覚アシスタントを15時間以内で(8つのA100で)訓練することができる。
• 参考スコア（独自算出の注目度）: 85.19963303642427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conversational generative AI has demonstrated remarkable promise for empowering biomedical practitioners, but current investigations focus on unimodal text. Multimodal conversational AI has seen rapid progress by leveraging billions of image-text pairs from the public web, but such general-domain vision-language models still lack sophistication in understanding and conversing about biomedical images. In this paper, we propose a cost-efficient approach for training a vision-language conversational assistant that can answer open-ended research questions of biomedical images. The key idea is to leverage a large-scale, broad-coverage biomedical figure-caption dataset extracted from PubMed Central, use GPT-4 to self-instruct open-ended instruction-following data from the captions, and then fine-tune a large general-domain vision-language model using a novel curriculum learning method. Specifically, the model first learns to align biomedical vocabulary using the figure-caption pairs as is, then learns to master open-ended conversational semantics using GPT-4 generated instruction-following data, broadly mimicking how a layperson gradually acquires biomedical knowledge. This enables us to train a Large Language and Vision Assistant for BioMedicine (LLaVA-Med) in less than 15 hours (with eight A100s). LLaVA-Med exhibits excellent multimodal conversational capability and can follow open-ended instruction to assist with inquiries about a biomedical image. On three standard biomedical visual question answering datasets, LLaVA-Med outperforms previous supervised state-of-the-art on certain metrics. To facilitate biomedical multimodal research, we will release our instruction-following data and the LLaVA-Med model.
• Abstract（参考訳）: 会話型生成aiは、バイオメディカル実践者のエンパワーメントに顕著な期待を示しているが、最近の調査はユニモーダルテキストに焦点を当てている。 マルチモーダルな会話型AIは、公開Webから数十億のイメージテキストペアを活用することで、急速に進歩している。 本稿では,バイオメディカルイメージのオープンな研究課題に答えられる視覚言語対話アシスタントを訓練するための費用効率のよいアプローチを提案する。 鍵となる考え方は、PubMed Centralから抽出された大規模で広い範囲のバイオメディカルフィギュアキャプチャーデータセットを活用し、GPT-4を使用して、キャプションからオープンエンド命令追跡データを自己インストラクションし、新しいカリキュラム学習手法を用いて大規模な一般ドメインビジョン言語モデルを微調整することである。 具体的には、まず、図取りペアをそのまま使用して、生物医学的語彙の整列を学習し、その後、gpt-4が生成した命令追従データを用いて、開放された会話意味論を習得し、在職者が徐々に生物医学的知識を取得する方法を広義に模倣する。 これにより、バイオメディジンのためのLarge Language and Vision Assistant(LLaVA-Med)を15時間以内(A100は8つ)でトレーニングすることができます。 LLaVA-Medは、優れたマルチモーダル会話能力を示し、バイオメディカルイメージに関する問い合わせを支援するために、オープンエンドの指示に従うことができる。 標準的な3つのバイオメディカルビジュアル質問応答データセットでは、LLaVA-Medは、特定のメトリクスで以前の監督された最先端よりも優れています。 バイオメディカルなマルチモーダル研究を容易にするため,本研究は命令追跡データとLLaVA-Medモデルをリリースする。

関連論文リスト

• STLLaVA-Med: Self-Training Large Language and Vision Assistant for Medical Question-Answering [58.79671189792399]
  STLLaVA-Medは、医療ビジュアルインストラクションデータを自動生成できるポリシーモデルを訓練するために設計されている。 STLLaVA-Medの有効性とデータ効率を3つの主要な医用視覚質問応答(VQA)ベンチマークで検証した。
  論文  参考訳（メタデータ） (2024-06-28T15:01:23Z)
• A Refer-and-Ground Multimodal Large Language Model for Biomedicine [10.519866875035003]
  Med-GRIT-270kデータセットは、バイオメディカルドメインに初めて専用のデータセットであり、参照と地上の会話を統合している。 本稿では,このデータセットとマルチタスク・インストラクション・ラーニングを用いて,バイオメディシンのためのRefer-and-Ground Multimodal Large Language Model(BiRD)を提案する。
  論文  参考訳（メタデータ） (2024-06-26T07:56:17Z)
• Advancing High Resolution Vision-Language Models in Biomedicine [4.514292200785639]
  本稿では,Claude3-Opus と LLaMA3 70B の医用画像テキストペアを用いた新しいインストラクションデータセットを提案する。 Llama3-Medモデルは,バイオメディカルな視覚的質問応答ベンチマークにおいて,最先端のゼロショット性能を実現する。
  論文  参考訳（メタデータ） (2024-06-12T18:29:26Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• BioLORD-2023: Semantic Textual Representations Fusing LLM and Clinical Knowledge Graph Insights [15.952942443163474]
  バイオメディカルな概念と文の高忠実度表現を得るための新しい最先端手法を提案する。 これまでの技術状況よりも一貫した、実質的なパフォーマンス向上を実証する。 英語のための最新のバイオメディカルモデルに加えて、50以上の言語と互換性のある多言語モデルを蒸留してリリースする。
  論文  参考訳（メタデータ） (2023-11-27T18:46:17Z)
• XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models [60.437091462613544]
  我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。 胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。 自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
  論文  参考訳（メタデータ） (2023-06-13T17:59:59Z)
• BiomedCLIP: a multimodal biomedical foundation model pretrained from fifteen million scientific image-text pairs [48.376109878173956]
  PMC-15Mは,既存のバイオメディカル・マルチモーダル・データセットよりも2桁大きい新しいデータセットである。 PMC-15Mは440万の科学論文から収集された1500万のバイオメディカル画像テキスト対を含んでいる。 PMC-15Mに基づいて,生物医学的視覚言語処理に適したドメイン固有適応を備えた多モーダル基礎モデルであるBiomedCLIPを事前訓練した。
  論文  参考訳（メタデータ） (2023-03-02T02:20:04Z)
• Align, Reason and Learn: Enhancing Medical Vision-and-Language Pre-training with Knowledge [68.90835997085557]
  本稿では,3つの視点から構造化された医療知識を高めるための体系的かつ効果的なアプローチを提案する。 まず、視覚エンコーダと言語エンコーダの表現を知識を通して整列する。 次に,多モード融合モデルに知識を注入し,入力画像とテキストの補足として知識を用いた推論を可能にする。 第3に、知識によって引き起こされるプレテキストタスクを設計することで、画像やテキストの最も重要な情報に重点を置くよう、モデルを指導する。
  論文  参考訳（メタデータ） (2022-09-15T08:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。