論文の概要: MedMax: Mixed-Modal Instruction Tuning for Training Biomedical Assistants

• arxiv url: http://arxiv.org/abs/2412.12661v1
• Date: Tue, 17 Dec 2024 08:30:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:02:24.403363
• Title: MedMax: Mixed-Modal Instruction Tuning for Training Biomedical Assistants
• Title（参考訳）: MedMax: バイオメディカルアシスタントのための混合モードインストラクションチューニング
• Authors: Hritik Bansal, Daniel Israel, Siyan Zhao, Shufan Li, Tung Nguyen, Aditya Grover,
• Abstract要約: 混合モーダル基礎モデルのための大規模バイオメディカルインストラクションチューニングデータセットであるMedMaxについて述べる。 1.47万のインスタンスを持つMedMaxは、マルチモーダルコンテンツ生成(インターリーブ画像テキストデータ)、バイオメディカル画像キャプションと生成、ビジュアルチャット、レポート理解など、さまざまなタスクを含んでいる。 我々は、MedMaxデータセットの混合モーダル基礎モデルを微調整し、大幅なパフォーマンス改善を実現した。
• 参考スコア（独自算出の注目度）: 28.04215981636089
• License:
• Abstract: Recent advancements in mixed-modal generative models have enabled flexible integration of information across image-text content. These models have opened new avenues for developing unified biomedical assistants capable of analyzing biomedical images, answering complex questions about them, and predicting the impact of medical procedures on a patient's health. However, existing resources face challenges such as limited data availability, narrow domain coverage, and restricted sources (e.g., medical papers). To address these gaps, we present MedMax, the first large-scale multimodal biomedical instruction-tuning dataset for mixed-modal foundation models. With 1.47 million instances, MedMax encompasses a diverse range of tasks, including multimodal content generation (interleaved image-text data), biomedical image captioning and generation, visual chatting, and report understanding. These tasks span diverse medical domains such as radiology and histopathology. Subsequently, we fine-tune a mixed-modal foundation model on the MedMax dataset, achieving significant performance improvements: a 26% gain over the Chameleon model and an 18.3% improvement over GPT-4o across 12 downstream biomedical visual question-answering tasks. Additionally, we introduce a unified evaluation suite for biomedical tasks, providing a robust framework to guide the development of next-generation mixed-modal biomedical AI assistants.
• Abstract（参考訳）: 混合モーダル生成モデルの最近の進歩は、画像-テキストコンテンツ間の柔軟な情報統合を可能にしている。 これらのモデルは、バイオメディカルイメージを分析し、それらに関する複雑な質問に答え、患者の健康への影響を予測する、統合されたバイオメディカルアシスタントを開発するための新しい道を開いた。 しかし、既存のリソースは、データ可用性の制限、ドメインカバレッジの制限、制限されたソース(医療論文など)といった課題に直面している。 これらのギャップに対処するために、MedMaxは、混合モーダル基礎モデルのための、最初の大規模マルチモーダルバイオメディカルインストラクションチューニングデータセットである。 1.47万のインスタンスを持つMedMaxは、マルチモーダルコンテンツ生成(インターリーブ画像テキストデータ)、バイオメディカル画像キャプションと生成、ビジュアルチャット、レポート理解など、さまざまなタスクを含んでいる。 これらの課題は、放射線学や病理学などの様々な医学領域にまたがる。 その後、MedMaxデータセットの混合モーダル基礎モデルを微調整し、Chameleonモデルよりも26%向上し、12の下流のバイオメディカル視覚的質問応答タスクでGPT-4oよりも18.3%改善した。 さらに,バイオメディカルタスクの統一評価スイートを導入し,次世代バイオメディカルAIアシスタントの開発をガイドする堅牢なフレームワークを提供する。

関連論文リスト

• MultiMed: Massively Multimodal and Multitask Medical Understanding [41.160488390597905]
  MultiMedは、幅広い医学的モダリティとタスクにわたる大規模学習の評価と有効化を目的として設計されたベンチマークである。 医療報告、病理学、ゲノム学、タンパク質データなど10の医療モダリティにまたがる256万のサンプルで構成されている。 我々はMultiMedを用いて、最先端のユニモーダル、マルチモーダル、マルチタスクモデルのベンチマークを行う。
  論文  参考訳（メタデータ） (2024-08-22T18:41:36Z)
• A Refer-and-Ground Multimodal Large Language Model for Biomedicine [10.519866875035003]
  Med-GRIT-270kデータセットは、バイオメディカルドメインに初めて専用のデータセットであり、参照と地上の会話を統合している。 本稿では,このデータセットとマルチタスク・インストラクション・ラーニングを用いて,バイオメディシンのためのRefer-and-Ground Multimodal Large Language Model(BiRD)を提案する。
  論文  参考訳（メタデータ） (2024-06-26T07:56:17Z)
• Capabilities of Gemini Models in Medicine [100.60391771032887]
  医療専門のマルチモーダルモデルであるMed-Geminiを紹介する。 メドジェニーニを14の医療ベンチマークで評価し,その内10に新たな最先端(SoTA)性能を確立した。 我々の結果は、Med-Geminiの可能性を示唆する証拠を提供するが、より厳密な評価は実世界の展開に先立って重要である。
  論文  参考訳（メタデータ） (2024-04-29T04:11:28Z)
• MedM2G: Unifying Medical Multi-Modal Generation via Cross-Guided Diffusion with Visual Invariant [15.30998544228763]
  MedM2Gは、テキスト・ツー・イメージ、画像・トゥ・テキスト、医用モダリティの統一的な生成タスクを統一する医療生成モデルである。 10のデータセットにまたがって5つの医療生成タスクを実行する。
  論文  参考訳（メタデータ） (2024-03-07T07:39:00Z)
• Towards Generalist Biomedical AI [28.68106423175678]
  我々は,汎用バイオメディカルAIシステムの概念実証であるMed-PaLM Multimodal(Med-PaLM M)を紹介する。 Med-PaLM Mは、バイオメディカルデータを柔軟にエンコードし解釈する大規模なマルチモーダル生成モデルである。 モデル生成(およびヒト)胸部X線検査の放射線学的評価を行い, モデルスケールでの性能向上を観察した。
  論文  参考訳（メタデータ） (2023-07-26T17:52:22Z)
• XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models [60.437091462613544]
  我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。 胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。 自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
  論文  参考訳（メタデータ） (2023-06-13T17:59:59Z)
• LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day [85.19963303642427]
  本稿では,バイオメディカルイメージのオープンな研究課題に答えられる視覚言語対話アシスタントを訓練するための費用効率のよいアプローチを提案する。 モデルはまず、フィギュア・キャプションのペアを使ってバイオメディカル・ボキャブラリをアライメントし、その後、オープンエンドの会話意味論を習得する。 これにより、バイオメディジンのための大規模言語と視覚アシスタントを15時間以内で(8つのA100で)訓練することができる。
  論文  参考訳（メタデータ） (2023-06-01T16:50:07Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)
• BiomedCLIP: a multimodal biomedical foundation model pretrained from fifteen million scientific image-text pairs [48.376109878173956]
  PMC-15Mは,既存のバイオメディカル・マルチモーダル・データセットよりも2桁大きい新しいデータセットである。 PMC-15Mは440万の科学論文から収集された1500万のバイオメディカル画像テキスト対を含んでいる。 PMC-15Mに基づいて,生物医学的視覚言語処理に適したドメイン固有適応を備えた多モーダル基礎モデルであるBiomedCLIPを事前訓練した。
  論文  参考訳（メタデータ） (2023-03-02T02:20:04Z)
• MedDG: An Entity-Centric Medical Consultation Dataset for Entity-Aware Medical Dialogue Generation [86.38736781043109]
  MedDGという12種類の消化器疾患に関連する大規模医用対話データセットを構築し,公開する。 MedDGデータセットに基づく2種類の医療対話タスクを提案する。1つは次のエンティティ予測であり、もう1つは医師の反応生成である。 実験結果から,プレトレイン言語モデルと他のベースラインは,両方のタスクに苦戦し,データセットの性能が劣ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T03:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。