論文の概要: MedPixel: A Unified Pixel-Language Model for Medical Reasoning and Segmentation
- arxiv url: http://arxiv.org/abs/2608.09818v1
- Date: Mon, 10 Aug 2026 16:37:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.386518
- Title: MedPixel: A Unified Pixel-Language Model for Medical Reasoning and Segmentation
- Title（参考訳）: MedPixel:医学的推論とセグメンテーションのための一元化Pixel-Languageモデル
- Abstract要約: 我々は,共有言語-マスクインターフェースを中心に構築された医用画素言語モデルであるMedPixelを紹介する。
MedPixelは、明示的な接地、暗黙の推論、空間的相互作用、接地説明、医療VQAにまたがる幅広いタスクをサポートする。
- 参考スコア（独自算出の注目度）: 28.78924935242642
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reliable medical image understanding requires models to connect clinical language and visual reasoning with pixel-level grounding. Yet medical vision-language models often lack precise localization, whereas medical segmenters typically rely on explicit target categories or precise spatial prompts. This divide is reinforced by a supervision mismatch: segmentation datasets provide precise masks but little language supervision, whereas medical vision-language data rarely pair language with dense spatial annotations. To address this gap, we present MedPixel, a unified medical pixel-language model built around a shared language--mask interface. To provide scalable supervision, we introduce MedPLG-440K, comprising approximately 440K pixel-language task samples constructed through a clinically motivated synthesis process without external LLM annotation. MedPixel is trained with joint multi-task supervised fine-tuning followed by Pixel-Level Preference Optimization, which uses ground-truth masks as offline verifiers to derive response preferences from mask quality. MedPixel supports a broad spectrum of tasks spanning explicit grounding, implicit reasoning, spatial interaction, grounded explanation, and medical VQA. Across this task spectrum, MedPixel achieves strong performance in both pixel-level prediction and response generation, together with effective zero-shot transfer to external grounding benchmarks and robustness to imperfect spatial prompts. Code and model checkpoints will be released at https://github.com/yhy-whu/Medpixel.
- Abstract（参考訳）: 信頼性の高い医用画像理解には、臨床言語と視覚的推論をピクセルレベルのグラウンドディングと結びつけるモデルが必要である。
しかし、医用視覚言語モデルは正確な局所化を欠くことが多いが、医用セグメンテータは通常、明確なターゲットカテゴリーや正確な空間的プロンプトに依存している。
セグメンテーションデータセットは正確なマスクを提供するが、言語監督はほとんど行わない。
このギャップに対処するために,共有言語-マスクインターフェースを中心に構築された医用画素言語モデルであるMedPixelを提案する。
外部LCMアノテーションを使わずに,臨床目的の合成プロセスを通じて構築された約440Kの画素言語タスクサンプルからなるMedPLG-440Kを導入する。
続いてPixel-Level Preference Optimizationは、オフライン検証器としてグラウンドトゥルースマスクを使用して、マスクの品質から応答選好を導出する。
MedPixelは、明示的な接地、暗黙の推論、空間的相互作用、接地説明、医療VQAにまたがる幅広いタスクをサポートする。
このタスクスペクトル全体にわたって、MedPixelは、外部グラウンドベンチマークへの効果的なゼロショット転送と、不完全な空間的プロンプトに対するロバスト性とともに、ピクセルレベルの予測と応答生成の両方で強力な性能を達成する。
コードとモデルチェックポイントはhttps://github.com/yhy-whu/Medpixel.comでリリースされる。
関連論文リスト
- MedGround: Bridging the Evidence Gap in Medical Vision-Language Models with Verified Grounding Data [32.65971100171597]
セグメンテーションリソースを高品質な医療参照基盤データに変換する自動パイプラインであるMedGroundを紹介する。
我々はまた、MedGround-35Kという新しいマルチモーダル医療データセットを提示する。
論文 参考訳（メタデータ） (2026-01-11T10:34:18Z) - TGC-Net: A Structure-Aware and Semantically-Aligned Framework for Text-Guided Medical Image Segmentation [56.09179939570486]
本稿では,パラメータ効率,タスク固有適応に着目したCLIPベースのフレームワークであるTGC-Netを提案する。
TGC-Netは、挑戦的なベンチマークで顕著なDiceゲインを含む、トレーニング可能なパラメータをかなり少なくして、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-12-24T12:06:26Z) - UniPixel: Unified Object Referring and Segmentation for Pixel-Level Visual Reasoning [83.68366772745689]
視覚的なプロンプト入力を柔軟に解釈し,マスクによる応答を生成できる大規模マルチモーダルモデルUniPixelを提案する。
具体的には、UniPixelは、要求に応じて視覚的なプロンプトを処理し、関連するマスクを生成し、推論中にこれらの中間ポインタに対してその後の推論条件を実行する。
提案手法の有効性は,画素レベルの参照/セグメンテーションや画像・ビデオにおけるオブジェクト中心の理解など,多種多様なタスクを対象とした10のベンチマークで検証されている。
論文 参考訳（メタデータ） (2025-09-22T17:59:40Z) - MedSeg-R: Reasoning Segmentation in Medical Images with Multimodal Large Language Models [48.24824129683951]
本稿では,複雑で暗黙的な医療指導に基づくセグメンテーションマスク作成を目的とした新しい課題である医用画像推論セグメンテーションを紹介する。
そこで本稿では,MLLMの推論能力を利用して臨床問題を理解するエンドツーエンドフレームワークであるMedSeg-Rを提案する。
1)画像の解釈と複雑な医用命令の理解を行い,マルチモーダルな中間トークンを生成するグローバルコンテキスト理解モジュール,2)これらのトークンをデコードして正確なセグメンテーションマスクを生成するピクセルレベルのグラウンドモジュールである。
論文 参考訳（メタデータ） (2025-06-12T08:13:38Z) - UniCrossAdapter: Multimodal Adaptation of CLIP for Radiology Report Generation [31.72930277939111]
画像とテキスト間のクロスモーダルセマンティクスをよりよく捉えるために,大規模な事前学習型視覚言語モデルであるCLIPから表現を転送することを提案する。
効率的な適応を実現するために、CLIPに組み込まれ、ターゲットタスクに微調整される軽量アダプタモジュールであるUniCrossAdapterを導入する。
論文 参考訳（メタデータ） (2025-03-20T08:28:53Z) - RL4Med-DDPO: Reinforcement Learning for Controlled Guidance Towards Diverse Medical Image Generation using Vision-Language Foundation Models [0.7165255458140439]
VLFM(Vision-Language Foundation Models)は、高解像度でフォトリアリスティックな自然画像を生成するという点で、大幅な性能向上を示している。
本稿では,事前学習したVLFMがカーソリー意味理解を提供するマルチステージアーキテクチャを提案する。
報酬信号は、テキストの意味情報を合成画像と整合させるように設計されている。
論文 参考訳（メタデータ） (2025-03-20T01:51:05Z) - Language-guided Scale-aware MedSegmentor for Lesion Segmentation in Medical Imaging [7.912408164613206]
臨床的には、特定の病変の分節化は診断精度と治療効率を著しく向上させる。
本稿では,与えられたテキスト表現に基づいて,医療画像のターゲット病変をセグメント化する言語誘導型大規模メドセグメンタ(LSMS)を提案する。
我々のLSMSは、計算コストを大幅に下げて、常に優れた性能を実現しています。
論文 参考訳（メタデータ） (2024-08-30T15:22:13Z) - Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。
本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
論文 参考訳（メタデータ） (2024-03-05T13:45:46Z) - LLM-CXR: Instruction-Finetuned LLM for CXR Image Understanding and Generation [51.08810811457617]
LLMにおける視覚言語アライメントは、マルチモーダル推論とビジュアルIOを可能にするために活発に研究されている。
医用画像の視覚言語能力を得るために,テキストのみにLLMを指導する手法を開発した。
このアプローチで訓練したLLM-CXRは,CXR理解タスクと生成タスクの両方において,より優れた画像テキストアライメントを示す。
論文 参考訳（メタデータ） (2023-05-19T07:44:39Z) - PCRLv2: A Unified Visual Information Preservation Framework for
Self-supervised Pre-training in Medical Image Analysis [56.63327669853693]
本稿では,ピクセルレベルの情報を高レベルなセマンティクスに明示的にエンコードするための画素復元タスクを提案する。
また,画像理解を支援する強力なツールであるスケール情報の保存についても検討する。
提案されている統合SSLフレームワークは、さまざまなタスクで自己管理されたフレームワークを超越している。
論文 参考訳（メタデータ） (2023-01-02T17:47:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。