論文の概要: MedUP: Awakening Unified Understanding and Perception in Medical Vision-Language Models
- arxiv url: http://arxiv.org/abs/2608.10635v1
- Date: Tue, 11 Aug 2026 08:22:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.959227
- Title: MedUP: Awakening Unified Understanding and Perception in Medical Vision-Language Models
- Title（参考訳）: MedUP:医療ビジョン・言語モデルにおける統一理解と認知の覚醒
- Abstract要約: 本稿では,共有トークン空間内での認識と理解を統一するMed-VLM MedUPを提案する。
コアとなるUniMedTokは、LLM語彙の個別トークンとしてマスクをエンコードするリージョントークンである。
We curate UniMed-Train, a 1.84M-instance corpus across text-guided segmentation, region-grounded understanding, Medical VQA and CoT-based segmentation, and introduced UniMed-Bench for unified evaluation。
- 参考スコア（独自算出の注目度）: 27.291593841223943
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Medical Vision-Language Models (Med-VLMs) excel at verbalizing visual content, yet precise visual perception, segmentation, and grounding remain challenging. Existing approaches either verbalize regions as coordinate strings or rely on external modules that decouple perception from understanding, creating representation gaps for region-language alignment. We present MedUP, a Med-VLM that natively unifies perception and understanding within a shared token space. At its core lies UniMedTok, a region tokenizer that encodes masks as discrete tokens in the LLM vocabulary, enabling the model to seamlessly interleave mask tokens with text. We curate UniMed-Train, a 1.84M-instance corpus spanning text-guided segmentation, region-grounded understanding, medical VQA and CoT-based segmentation, and introduce UniMed-Bench for unified evaluation. Extensive experiments show that MedUP outperforms native, agentic, and dual-decoder Med-VLMs across all tasks while remaining competitive with specialist segmentors, demonstrating the strong potential of unified understanding and perception modeling.
- Abstract（参考訳）: 医用視覚言語モデル(Med-VLMs)は、視覚内容の言語化に優れるが、正確な視覚知覚、セグメンテーション、グラウンド化は依然として困難である。
既存のアプローチでは、領域を座標文字列として言語化するか、あるいは知覚を理解から切り離す外部モジュールに依存し、領域言語アライメントのための表現ギャップを作成する。
本稿では,共有トークン空間内での認識と理解をネイティブに統一するMed-VLM MedUPを提案する。
コアとなるUniMedTokは、LLM語彙の個別トークンとしてマスクをエンコードするリージョントークンライザで、モデルがテキストでマスクトークンをシームレスにインターリーブすることを可能にする。
We curate UniMed-Train, a 1.84M-instance corpus across text-guided segmentation, region-grounded understanding, Medical VQA and CoT-based segmentation, and introduced UniMed-Bench for unified evaluation。
大規模な実験により、MedUPはすべてのタスクにおいてネイティブ、エージェント、デュアルデコーダのMed-VLMよりも優れており、専門セグメントと競合する一方で、統合された理解と知覚モデリングの強い可能性を示している。
関連論文リスト
- MedPlex: Deep Vision-Language Co-Adaptation for Clinically Grounded Medical Segmentation [8.760474194841908]
MedPlexは、テキストガイダンスをセグメンテーション学習の継続的かつ臨床的基盤となるエンドツーエンドのVLMフレームワークである。
MedPlexは、多臓器、心臓のサブ構造、腫瘍のセグメンテーションのためのCTおよびMRベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-08-13T18:37:13Z) - MedPixel: A Unified Pixel-Language Model for Medical Reasoning and Segmentation [28.78924935242642]
我々は,共有言語-マスクインターフェースを中心に構築された医用画素言語モデルであるMedPixelを紹介する。
MedPixelは、明示的な接地、暗黙の推論、空間的相互作用、接地説明、医療VQAにまたがる幅広いタスクをサポートする。
論文 参考訳（メタデータ） (2026-08-10T16:37:24Z) - MedSIGHT: Towards Grounded Visual Comprehension in Medical Large Vision-Language Models [42.44822236388223]
我々は、Med-LVLMに基底的視覚的理解のための構造化されたピクセルレベルの理解を持たせる統一的なフレームワークであるMedSIGHTを提案する。
MedSIGHTは、領域中心のトークンを生成し、空間情報を言語モデルの表現空間に直接エンコードする新しいRerea Perceiverモジュールを導入した。
さらに, LLM語彙に医学領域のコードブックを組み込むことにより, 解剖学的および病理学的領域の記号表現として離散領域のコードを生成することができる。
論文 参考訳（メタデータ） (2026-06-04T22:54:59Z) - MedP-CLIP: Medical CLIP with Region-Aware Prompt Integration [22.87996664536728]
地域対応医療ビジョン言語モデル(VLM)であるMedP-CLIPを提案する。
我々は、精密に構築された大規模データセット上でモデルを事前訓練する。
実験により,MedP-CLIPは各種医療タスクにおいて,ベースライン法よりも有意に優れていた。
論文 参考訳（メタデータ） (2026-04-13T08:53:36Z) - MedGround: Bridging the Evidence Gap in Medical Vision-Language Models with Verified Grounding Data [32.65971100171597]
セグメンテーションリソースを高品質な医療参照基盤データに変換する自動パイプラインであるMedGroundを紹介する。
我々はまた、MedGround-35Kという新しいマルチモーダル医療データセットを提示する。
論文 参考訳（メタデータ） (2026-01-11T10:34:18Z) - RAU: Reference-based Anatomical Understanding with Vision Language Models [26.06602931463068]
視覚言語モデル(VLM)を用いた参照型解剖学的理解のためのフレームワークであるRAUを紹介する。
まず,VLMが参照画像と対象画像の相対的空間的推論により解剖学的領域の同定を学習することを示す。
次に, VLM由来の空間的手がかりをSAM2の細粒度セグメンテーション能力とシームレスに統合できることを実証した。
論文 参考訳（メタデータ） (2025-09-26T14:32:03Z) - MedSeg-R: Reasoning Segmentation in Medical Images with Multimodal Large Language Models [48.24824129683951]
本稿では,複雑で暗黙的な医療指導に基づくセグメンテーションマスク作成を目的とした新しい課題である医用画像推論セグメンテーションを紹介する。
そこで本稿では,MLLMの推論能力を利用して臨床問題を理解するエンドツーエンドフレームワークであるMedSeg-Rを提案する。
1)画像の解釈と複雑な医用命令の理解を行い,マルチモーダルな中間トークンを生成するグローバルコンテキスト理解モジュール,2)これらのトークンをデコードして正確なセグメンテーションマスクを生成するピクセルレベルのグラウンドモジュールである。
論文 参考訳（メタデータ） (2025-06-12T08:13:38Z) - LIMIS: Towards Language-based Interactive Medical Image Segmentation [58.553786162527686]
LIMISは、最初の純粋言語に基づく対話型医療画像分割モデルである。
我々は、Grounded SAMを医療領域に適応させ、言語に基づくモデルインタラクション戦略を設計する。
LIMISを3つの公開医療データセット上で,パフォーマンスとユーザビリティの観点から評価した。
論文 参考訳（メタデータ） (2024-10-22T12:13:47Z) - Unlocking the Power of Spatial and Temporal Information in Medical Multimodal Pre-training [99.2891802841936]
我々は,空間的・時間的微粒なモデリングのためのMed-STフレームワークを提案する。
空間モデリングでは、Med-STはMixture of View Expert (MoVE)アーキテクチャを使用して、正面と横の両方のビューから異なる視覚的特徴を統合する。
時間的モデリングのために,フォワードマッピング分類 (FMC) とリバースマッピング回帰 (RMR) による新たな双方向サイクル整合性目標を提案する。
論文 参考訳（メタデータ） (2024-05-30T03:15:09Z) - Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。
特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。
また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
論文 参考訳（メタデータ） (2024-04-27T05:03:42Z) - Multi-Modal Masked Autoencoders for Medical Vision-and-Language
Pre-Training [62.215025958347105]
マルチモーダルマスク付きオートエンコーダを用いた自己教師型学習パラダイムを提案する。
我々は、ランダムにマスキングされた画像やテキストから欠落したピクセルやトークンを再構成することで、クロスモーダルなドメイン知識を学習する。
論文 参考訳（メタデータ） (2022-09-15T07:26:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。