論文の概要: Multimodal Large Language Models for Medicine: A Comprehensive Survey
- arxiv url: http://arxiv.org/abs/2504.21051v1
- Date: Tue, 29 Apr 2025 03:07:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-10 00:05:00.860249
- Title: Multimodal Large Language Models for Medicine: A Comprehensive Survey
- Title（参考訳）: 医療用多モーダル大規模言語モデル:総合的調査
- Authors: Jiarui Ye, Hao Tang,
- Abstract要約: MLLMの動作原理を強調しつつ,LLMとMLLMに関する背景概念と基本概念を紹介する。
医療における応用の3つの主な方向として, 医療報告, 診断, 医療の3つを挙げる。
本研究は,本領域における最近の330論文の総合的なレビューに基づいている。
- 参考スコア（独自算出の注目度）: 7.250878248686215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: MLLMs have recently become a focal point in the field of artificial intelligence research. Building on the strong capabilities of LLMs, MLLMs are adept at addressing complex multi-modal tasks. With the release of GPT-4, MLLMs have gained substantial attention from different domains. Researchers have begun to explore the potential of MLLMs in the medical and healthcare domain. In this paper, we first introduce the background and fundamental concepts related to LLMs and MLLMs, while emphasizing the working principles of MLLMs. Subsequently, we summarize three main directions of application within healthcare: medical reporting, medical diagnosis, and medical treatment. Our findings are based on a comprehensive review of 330 recent papers in this area. We illustrate the remarkable capabilities of MLLMs in these domains by providing specific examples. For data, we present six mainstream modes of data along with their corresponding evaluation benchmarks. At the end of the survey, we discuss the challenges faced by MLLMs in the medical and healthcare domain and propose feasible methods to mitigate or overcome these issues.
- Abstract（参考訳）: 近年、MLLMは人工知能研究の焦点となっている。
LLMの強い能力に基づいて構築されたMLLMは、複雑なマルチモーダルタスクに対処するのに適している。
GPT-4のリリースにより、MLLMは様々な領域から大きな注目を集めている。
研究者は医療・医療分野におけるMLLMの可能性を探り始めた。
本稿では,MLLMの動作原理を強調しつつ,LLMとMLLMに関する背景概念と基本概念を紹介する。
その後、医療における応用の3つの主な方向として、医療報告、診断、医療の3つをまとめる。
本研究の成果は,近年の330件の論文の総合的なレビューに基づいている。
本稿では,これらの領域におけるMLLMの顕著な機能について,具体例を挙げて説明する。
データについては、主要な6つのデータモードと、それに対応する評価ベンチマークを提示する。
調査の最後には、医療・医療分野におけるMLLMの課題について議論し、これらの課題を緩和・克服するための実現可能な方法を提案する。
関連論文リスト
- From Text to Multimodality: Exploring the Evolution and Impact of Large Language Models in Medical Practice [14.739357670600103]
大規模言語モデル(LLM)は、テキストベースのシステムからマルチモーダルプラットフォームへと急速に進化してきた。
医療におけるMLLMの現況を考察し,臨床診断支援,医用画像,患者エンゲージメント,研究の分野にまたがる応用を分析した。
論文 参考訳（メタデータ） (2024-09-14T02:35:29Z) - A Survey on Benchmarks of Multimodal Large Language Models [65.87641718350639]
本稿では,Multimodal Large Language Models (MLLM) のベンチマークと評価について概説する。
本研究では,(1)知覚と理解,(2)認知と推論,(3)特定のドメイン,(4)キー能力,(5)他のモダリティに着目した。
我々のキーとなる主張は、MLLMの開発をより良いものにするための重要な規律として評価されるべきである、ということである。
論文 参考訳（メタデータ） (2024-08-16T09:52:02Z) - TCMD: A Traditional Chinese Medicine QA Dataset for Evaluating Large Language Models [22.76485170022542]
従来の中国医学検査課題を解くための大規模な手動指導を含む,新しいQAデータセットを提案する。
TCMDは、注釈付き医療科目で、さまざまな領域にまたがって大量の質問を集めています。
論文 参考訳（メタデータ） (2024-06-07T13:48:15Z) - Efficient Multimodal Large Language Models: A Survey [60.7614299984182]
MLLM(Multimodal Large Language Models)は、視覚的質問応答、視覚的理解、推論などのタスクにおいて顕著な性能を示す。
モデルサイズと高いトレーニングと推論コストが、MLLMのアカデミックや産業への応用を妨げている。
本調査は,効率的なMLLMの現状を包括的かつ体系的に概観するものである。
論文 参考訳（メタデータ） (2024-05-17T12:37:10Z) - A Comprehensive Survey of Large Language Models and Multimodal Large Language Models in Medicine [9.116392782378753]
ChatGPT と GPT-4 のリリース以降,大規模言語モデル (LLM) とマルチモーダル大規模言語モデル (MLLM) が注目されている。
本調査は、医学におけるLSMとMLLMの開発、原則、アプリケーションシナリオ、課題、今後の方向性について概観する。
論文 参考訳（メタデータ） (2024-05-14T13:42:05Z) - D-NLP at SemEval-2024 Task 2: Evaluating Clinical Inference Capabilities of Large Language Models [5.439020425819001]
大規模言語モデル(LLM)は、様々なタスクにおける顕著なパフォーマンスのために、大きな注目を集め、広く使われている。
しかし、幻覚、事実的矛盾、数値的定量的推論の限界などの問題を含む、彼ら自身の課題は存在しない。
論文 参考訳（メタデータ） (2024-05-07T10:11:14Z) - Large language models in healthcare and medical domain: A review [4.456243157307507]
大規模言語モデル(LLM)は、自由テキストクエリに対する熟練した応答を提供する。
このレビューでは、多様な医療応用の効率性と効果を増幅するLLMの可能性について考察する。
論文 参考訳（メタデータ） (2023-12-12T20:54:51Z) - A Survey of Large Language Models in Medicine: Progress, Application, and Challenge [85.09998659355038]
大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。
本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
論文 参考訳（メタデータ） (2023-11-09T02:55:58Z) - Survey on Factuality in Large Language Models: Knowledge, Retrieval and
Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。
LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳（メタデータ） (2023-10-11T14:18:03Z) - A Comprehensive Overview of Large Language Models [68.22178313875618]
大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。
本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
論文 参考訳（メタデータ） (2023-07-12T20:01:52Z) - A Survey on Multimodal Large Language Models [71.63375558033364]
GPT-4Vで表されるマルチモーダル大言語モデル(MLLM)は、新たな研究ホットスポットとなっている。
本稿では,MLLMの最近の進歩を追跡・要約することを目的とする。
論文 参考訳（メタデータ） (2023-06-23T15:21:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。