論文の概要: MedViLaM: A multimodal large language model with advanced generalizability and explainability for medical data understanding and generation

• arxiv url: http://arxiv.org/abs/2409.19684v1
• Date: Sun, 29 Sep 2024 12:23:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:04:11.867092
• Title: MedViLaM: A multimodal large language model with advanced generalizability and explainability for medical data understanding and generation
• Title（参考訳）: MedViLaM:医療データ理解と生成のための高度な一般化性と説明可能性を備えた多モード大言語モデル
• Authors: Lijian Xu, Hao Sun, Ziyu Ni, Hongsheng Li, Shaoting Zhang,
• Abstract要約: MedViLaMは、医用データの汎用モデルに向けた統合視覚言語モデルである。 MedViLaMは、臨床言語や画像など、様々な形の医療データを柔軟にエンコードし、解釈することができる。 ゼロショットの一般化を新しい医療概念やタスクに適用し、異なるタスク間で効果的な伝達学習を行い、ゼロショットの医学推論が出現する事例を提示する。
• 参考スコア（独自算出の注目度）: 40.9095393430871
• License:
• Abstract: Medicine is inherently multimodal and multitask, with diverse data modalities spanning text, imaging. However, most models in medical field are unimodal single tasks and lack good generalizability and explainability. In this study, we introduce MedViLaM, a unified vision-language model towards a generalist model for medical data that can flexibly encode and interpret various forms of medical data, including clinical language and imaging, all using the same set of model weights. To facilitate the creation of such multi-task model, we have curated MultiMedBench, a comprehensive pretaining dataset and benchmark consisting of several distinct tasks, i.e., continuous question-answering, multi-label disease classification, disease localization, generation and summarization of radiology reports. MedViLaM demonstrates strong performance across all MultiMedBench tasks, frequently outpacing other generalist models by a significant margin. Additionally, we present instances of zero-shot generalization to new medical concepts and tasks, effective transfer learning across different tasks, and the emergence of zero-shot medical reasoning.
• Abstract（参考訳）: 医学は本質的にマルチモーダルでマルチタスクであり、テキストや画像にまたがる多様なデータモダリティがある。 しかし、医療分野のほとんどのモデルは単調な単一タスクであり、優れた一般化性と説明性に欠ける。 本研究では,医療データに対する汎用モデルに向けた統一視覚言語モデルであるMedViLaMを紹介する。 このようなマルチタスクモデルの作成を容易にするため,我々は,連続質問応答,マルチラベル病分類,疾患の局所化,放射線診断レポートの生成と要約という,いくつかの異なるタスクからなる総合的な保持データセットとベンチマークであるMultiMedBenchをキュレートした。 MedViLaMは、すべてのMultiMedBenchタスクで強力なパフォーマンスを示し、他のジェネラリストモデルよりも大幅に優れています。 さらに,新たな医療概念やタスクへのゼロショット一般化,タスク間の効果的な伝達学習,ゼロショット医学推論の出現について紹介する。

関連論文リスト

• FlexCare: Leveraging Cross-Task Synergy for Flexible Multimodal Healthcare Prediction [34.732561455987145]
  我々は、不完全なマルチモーダル入力に柔軟に対応するために、textbfFlexCareという統合医療予測モデルを提案する。 タスクに依存しないマルチモーダル情報抽出モジュールを提示し、多様なモダリティ内およびモダリティ間パターンの非相関表現をキャプチャする。 MIMIC-IV/MIMIC-CXR/MIMIC-NOTEデータセットによる複数のタスクの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-17T12:03:10Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• MedM2G: Unifying Medical Multi-Modal Generation via Cross-Guided Diffusion with Visual Invariant [15.30998544228763]
  MedM2Gは、テキスト・ツー・イメージ、画像・トゥ・テキスト、医用モダリティの統一的な生成タスクを統一する医療生成モデルである。 10のデータセットにまたがって5つの医療生成タスクを実行する。
  論文  参考訳（メタデータ） (2024-03-07T07:39:00Z)
• C^2M-DoT: Cross-modal consistent multi-view medical report generation with domain transfer network [67.97926983664676]
  ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。 C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2023-10-09T02:31:36Z)
• Towards Generalist Biomedical AI [28.68106423175678]
  我々は,汎用バイオメディカルAIシステムの概念実証であるMed-PaLM Multimodal(Med-PaLM M)を紹介する。 Med-PaLM Mは、バイオメディカルデータを柔軟にエンコードし解釈する大規模なマルチモーダル生成モデルである。 モデル生成(およびヒト)胸部X線検査の放射線学的評価を行い, モデルスケールでの性能向上を観察した。
  論文  参考訳（メタデータ） (2023-07-26T17:52:22Z)
• Stone Needle: A General Multimodal Large-scale Model Framework towards Healthcare [1.7894377200944511]
  Stone Needleは、医療アプリケーションに特化して設計された、一般的なマルチモーダルな大規模モデルフレームワークである。 アーキテクチャは複数ラウンドの対話でマルチモーダルインタラクションを行うことができる。 異なるモダリティの融合と複雑な医療情報をストーンニードルで処理する能力は、正確な診断、治療勧告、患者医療に有効である。
  論文  参考訳（メタデータ） (2023-06-28T09:04:56Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)
• Towards Medical Artificial General Intelligence via Knowledge-Enhanced Multimodal Pretraining [121.89793208683625]
  医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。 我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-26T01:26:19Z)
• Specialty-Oriented Generalist Medical AI for Chest CT Screening [14.31187762890342]
  本稿では,肺がん検診および関連する課題に応用したM3FM(Maltimodal-multitask foundation model)を提案する。 M3FMは、最先端のシングルモーダルタスク特化モデルより一貫して優れている。 専門的な汎用的な医療AIモデルとして、M3FMは、他の医療分野における同様のブレークスルーの道を開く。
  論文  参考訳（メタデータ） (2023-04-03T20:19:56Z)
• Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
  病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。 これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。 テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T20:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。