論文の概要: MIMO: A medical vision language model with visual referring multimodal input and pixel grounding multimodal output

• arxiv url: http://arxiv.org/abs/2510.10011v1
• Date: Sat, 11 Oct 2025 04:29:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.736855
• Title: MIMO: A medical vision language model with visual referring multimodal input and pixel grounding multimodal output
• Title（参考訳）: MIMO:マルチモーダル・インプットとマルチモーダル・アウトプットを用いた医用視覚言語モデル
• Authors: Yanyuan Chen, Dexuan Xu, Yu Huang, Songkun Zhan, Hanpin Wang, Dongxue Chen, Xueping Wang, Meikang Qiu, Hang Li,
• Abstract要約: 既存のモデルは2つの問題に直面している。入力の場合、モデルはテキスト命令のみに依存し、画像の視覚的手がかりを直接理解できない。 マルチモーダル入力と画素接地によるマルチモーダル出力を視覚的に参照する統合医療ビジョン言語モデルを提案する。
• 参考スコア（独自算出の注目度）: 23.480960457981215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Currently, medical vision language models are widely used in medical vision question answering tasks. However, existing models are confronted with two issues: for input, the model only relies on text instructions and lacks direct understanding of visual clues in the image; for output, the model only gives text answers and lacks connection with key areas in the image. To address these issues, we propose a unified medical vision language model MIMO, with visual referring Multimodal Input and pixel grounding Multimodal Output. MIMO can not only combine visual clues and textual instructions to understand complex medical images and semantics, but can also ground medical terminologies in textual output within the image. To overcome the scarcity of relevant data in the medical field, we propose MIMOSeg, a comprehensive medical multimodal dataset including 895K samples. MIMOSeg is constructed from four different perspectives, covering basic instruction following and complex question answering with multimodal input and multimodal output. We conduct experiments on several downstream medical multimodal tasks. Extensive experimental results verify that MIMO can uniquely combine visual referring and pixel grounding capabilities, which are not available in previous models.
• Abstract（参考訳）: 現在、医療ビジョン言語モデルは、医療ビジョン質問応答タスクに広く利用されている。 しかし、既存のモデルは2つの問題に直面している: 入力の場合、モデルはテキスト命令にのみ依存し、画像内の視覚的手がかりを直接理解していない; 出力の場合、モデルはテキスト応答のみを与え、画像のキー領域とのつながりを欠いている。 これらの課題に対処するために,マルチモーダル入力とマルチモーダル出力を視覚的に参照する医用視覚言語モデルMIMOを提案する。 MIMOは、複雑な医用画像や意味を理解するために、視覚的な手がかりとテキストの指示を組み合わせるだけでなく、画像内のテキスト出力に医療用語を埋め込むこともできる。 医療分野における関連データの不足を克服するために,895Kサンプルを含む総合的な医療マルチモーダルデータセットMIMOSegを提案する。 MIMOSegは4つの異なる視点から構築され、基本命令と多モーダル入力と多モーダル出力による複雑な質問応答をカバーしている。 いくつかの下流医療マルチモーダルタスクの実験を行った。 大規模な実験結果から、MIMOは従来のモデルでは利用できない視覚参照と画素グラウンド機能とを一意に組み合わせることができることが確認された。

関連論文リスト

• Lingshu: A Generalist Foundation Model for Unified Multimodal Medical Understanding and Reasoning [57.873833577058]
  医療知識の豊富なマルチモーダルデータセットを構築した。 次に医学専門のMLLMであるLingshuを紹介します。 Lingshuは、医療専門知識の組み込みとタスク解決能力の向上のために、マルチステージトレーニングを行っている。
  論文  参考訳（メタデータ） (2025-06-08T08:47:30Z)
• Towards a Multimodal Large Language Model with Pixel-Level Insight for Biomedicine [23.716953682681975]
  MedPLIBという名前のバイオメディカルドメインのための新しいエンド・ツー・エンド・マルチモーダル・大規模言語モデルを導入する。 視覚的質問応答(VQA)、任意のピクセルレベルのプロンプト(ポイント、バウンディングボックス、自由形式の形状)、ピクセルレベルの接地をサポートする。 その結果,MedPLIBは複数の医学的視覚言語タスクにおいて最先端の結果を得たことが示唆された。
  論文  参考訳（メタデータ） (2024-12-12T13:41:35Z)
• Parameter-Efficient Fine-Tuning Medical Multimodal Large Language Models for Medical Visual Grounding [9.144030136201476]
  マルチモーダル大言語モデル(MLLM)は、LLMの優れたテキスト理解能力を継承し、これらの機能をマルチモーダルシナリオに拡張する。 これらのモデルは、マルチモーダルタスクの一般領域において優れた結果をもたらす。 しかし,医療分野では,医療用MLLMの開発に多大なトレーニングコストと広範な医療データを必要とすることが課題となっている。
  論文  参考訳（メタデータ） (2024-10-31T11:07:26Z)
• Language Is Not All You Need: Aligning Perception with Language Models [110.51362453720458]
  Kosmos-1はMLLM(Multimodal Large Language Model)で、一般的なモダリティを認識し、文脈で学習し、指示に従うことができる。 我々は、任意にインターリーブされたテキストと画像、画像キャプチャペア、テキストデータを含む、Webスケールのマルチモーダルコーパス上で、Kosmos-1をスクラッチからトレーニングする。 実験結果から,Kosmos-1 は (i) 言語理解,生成,さらには OCR フリー NLP において優れた性能を発揮することが示された。 また、MLLMは言語からマルチモーダルへの知識の伝達や多モーダルから言語への知識の伝達といった、クロスモーダル転送の恩恵を受けることができることを示す。
  論文  参考訳（メタデータ） (2023-02-27T18:55:27Z)
• Towards Unifying Medical Vision-and-Language Pre-training via Soft Prompts [63.84720380390935]
  textiti. には、重い融合モジュールを使用するかどうかに応じて、融合エンコーダタイプと二重エンコーダタイプという2つの典型的なタイプがある。 PTUnifier という2つのタイプを統一する手法を提案する。 まず、最も代表的な画像/テキストを格納する機能バンクとして機能する視覚的およびテキスト的プロンプトを導入することで、入力形式を統一する。
  論文  参考訳（メタデータ） (2023-02-17T15:43:42Z)
• Multi-Modal Masked Autoencoders for Medical Vision-and-Language Pre-Training [62.215025958347105]
  マルチモーダルマスク付きオートエンコーダを用いた自己教師型学習パラダイムを提案する。 我々は、ランダムにマスキングされた画像やテキストから欠落したピクセルやトークンを再構成することで、クロスモーダルなドメイン知識を学習する。
  論文  参考訳（メタデータ） (2022-09-15T07:26:43Z)
• MuVAM: A Multi-View Attention-based Model for Medical Visual Question Answering [2.413694065650786]
  本稿では,医療用視覚質問応答のためのマルチビューアテンションベースモデル(MuVAM)を提案する。 医用画像の高レベルの意味をテキスト記述に基づいて統合する。 2つのデータセットの実験では、MuVAMの有効性が最先端の手法を超えていることが示されている。
  論文  参考訳（メタデータ） (2021-07-07T13:40:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。