論文の概要: MedPlex: Deep Vision-Language Co-Adaptation for Clinically Grounded Medical Segmentation
- arxiv url: http://arxiv.org/abs/2608.13690v1
- Date: Thu, 13 Aug 2026 18:37:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.18772
- Title: MedPlex: Deep Vision-Language Co-Adaptation for Clinically Grounded Medical Segmentation
- Title(参考訳): MedPlex:臨床接地型医療セグメントのための深層視線同時適応
- Abstract要約: MedPlexは、テキストガイダンスをセグメンテーション学習の継続的かつ臨床的基盤となるエンドツーエンドのVLMフレームワークである。
MedPlexは、多臓器、心臓のサブ構造、腫瘍のセグメンテーションのためのCTおよびMRベンチマークで最先端のパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 8.760474194841908
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Medical image segmentation is still largely treated as a vision-only problem, although clinical interpretation often relies on textual knowledge of anatomy, location, appearance, and surrounding context. Existing text-guided segmentation methods within the Vision-Language Model (VLM) paradigm often use language only as a late conditioning signal, limiting its influence on visual representation learning. We introduce MedPlex (Medical Plexus of Vision and Language), an end-to-end VLM framework that makes text guidance a continuous, clinically grounded component of segmentation learning. Through Bi-Fusion (Bidirectional Fusion), visual and textual representations evolve jointly across the encoding hierarchy. MedPlex further introduces class-level and region-level concept alignment to organize the shared representation at complementary granularities. Class-level alignment anchors each anatomical target to an aggregated clinical concept profile, while region-level alignment preserves individual concepts, such as shape, location, appearance, and texture, through class-specific visual evidence. In this way, language provides structured supervision throughout the encoder rather than serving only as a late-stage cue. MedPlex achieves state-of-the-art performance across CT and MR benchmarks for multi-organ, cardiac substructure, and tumor segmentation, including settings with real free-text clinical supervision. Code: https://github.com/rafiibnsultan/MedPlex.
- Abstract(参考訳): 医用画像のセグメンテーションは依然として視覚のみの問題として扱われているが、臨床解釈はしばしば解剖学、位置、外観、周囲の文脈に関するテキスト知識に依存している。
VLM(Vision-Language Model)パラダイムにおける既存のテキスト誘導セグメンテーション手法は、言語を遅延条件付け信号としてのみ使用し、視覚表現学習への影響を制限する。
MedPlex (Medical Plexus of Vision and Language) は,テキスト指導をセグメンテーション学習の連続的,臨床的基盤としたコンポーネントとする,エンドツーエンドのVLMフレームワークである。
Bi-Fusion (Bidirectional Fusion) を通じて、視覚的およびテキスト的表現はエンコーディング階層にわたって共同で進化する。
MedPlexはさらに、クラスレベルとリージョンレベルの概念アライメントを導入して、相補的な粒度の共有表現を整理する。
クラスレベルのアライメントは、各解剖学的ターゲットを集約された臨床概念プロファイルに固定する一方、地域レベルのアライメントは、クラス固有の視覚的証拠を通じて、形状、位置、外観、テクスチャといった個々の概念を保存する。
このように言語は、後期のキューとしてのみ機能するのではなく、エンコーダ全体の構造化された監視を提供する。
MedPlexは、複数臓器、心臓のサブ構造、腫瘍のセグメンテーションのためのCTおよびMRベンチマークにおける最先端のパフォーマンスを実現している。
コード:https://github.com/rafiibnsultan/MedPlex。
関連論文リスト
- Concept-Grounded Reasoning with Prompt-Driven Localization for Interpretable Structured Report Generation [66.62662330558906]
CORALは、空間的接地と概念レベルの監督を統一的な推論プロセスに統合するマルチモーダルフレームワークである。
コーラルは、疾患の局所化とコンセプション・ボトルネックモジュールによる多クラス臨床属性の予測のために、プロンプト駆動型医療セグメンテーションモデルを採用している。
BUS-CoTとIU X線データセットの実験では、診断精度、概念整合性、報告品質が強力な汎用および医療MLLMよりも一貫した改善が示されている。
論文 参考訳(メタデータ) (2026-09-14T10:21:23Z) - MedUP: Awakening Unified Understanding and Perception in Medical Vision-Language Models [27.291593841223943]
本稿では,共有トークン空間内での認識と理解を統一するMed-VLM MedUPを提案する。
コアとなるUniMedTokは、LLM語彙の個別トークンとしてマスクをエンコードするリージョントークンである。
We curate UniMed-Train, a 1.84M-instance corpus across text-guided segmentation, region-grounded understanding, Medical VQA and CoT-based segmentation, and introduced UniMed-Bench for unified evaluation。
論文 参考訳(メタデータ) (2026-08-11T08:22:13Z) - EndoVLM: An Endoscopy Vision-Language Pre-training Model via Anatomy-Guided Sparsity and Progressive Alignment [15.371433625713232]
EndoVLMは348K以上の内視鏡検査で事前訓練された新しい視覚言語FMである。
Anatomy-Guided Sparse Poolingメカニズムは、テキスト記述をクエリとして利用してスパース注意を喚起する。
プログレッシブ・セマンティック・アウェア・アライメント・ストラテジー(Progressive Semantic-Aware Alignment Strategy)は、構造化されたソフトターゲットを介して臨床分類(解剖学と病理学)をモデル化する。
Semantic-Concentrated Masked Autoencoderは、これらのセマンティックリッチなフレームにのみ適用され、低レベルの視覚的精度と堅牢な高レベルのセマンティック表現を統合する。
論文 参考訳(メタデータ) (2026-08-05T05:56:41Z) - MedSIGHT: Towards Grounded Visual Comprehension in Medical Large Vision-Language Models [42.44822236388223]
我々は、Med-LVLMに基底的視覚的理解のための構造化されたピクセルレベルの理解を持たせる統一的なフレームワークであるMedSIGHTを提案する。
MedSIGHTは、領域中心のトークンを生成し、空間情報を言語モデルの表現空間に直接エンコードする新しいRerea Perceiverモジュールを導入した。
さらに, LLM語彙に医学領域のコードブックを組み込むことにより, 解剖学的および病理学的領域の記号表現として離散領域のコードを生成することができる。
論文 参考訳(メタデータ) (2026-06-04T22:54:59Z) - TGC-Net: A Structure-Aware and Semantically-Aligned Framework for Text-Guided Medical Image Segmentation [56.09179939570486]
本稿では,パラメータ効率,タスク固有適応に着目したCLIPベースのフレームワークであるTGC-Netを提案する。
TGC-Netは、挑戦的なベンチマークで顕著なDiceゲインを含む、トレーニング可能なパラメータをかなり少なくして、最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2025-12-24T12:06:26Z) - Self-Supervised Anatomical Consistency Learning for Vision-Grounded Medical Report Generation [61.350584471060756]
医用画像の臨床的に正確な記述を作成することを目的とした医用レポート生成。
本稿では, 自己監督型解剖学的一貫性学習(SS-ACL)を提案し, 生成された報告を対応する解剖学的領域と整合させる。
SS-ACLは、ヒト解剖学の不変のトップダウン包摂構造にインスパイアされた階層的な解剖学的グラフを構築する。
論文 参考訳(メタデータ) (2025-09-30T08:59:06Z) - BiPVL-Seg: Bidirectional Progressive Vision-Language Fusion with Global-Local Alignment for Medical Image Segmentation [9.262045402495225]
BiPVL-Segは、視覚言語融合と埋め込みアライメントを統合するエンドツーエンドフレームワークである。
BiPVL-Segはアーキテクチャにプログレッシブ融合を導入し、視覚とテキストエンコーダの段階的な情報交換を容易にする。
これは、クラスレベルと概念レベルの両方でテキストと視覚の埋め込みをアライメントすることで、テキストエンコーダの理解を高める訓練目的である。
論文 参考訳(メタデータ) (2025-03-30T17:34:39Z) - LIMIS: Towards Language-based Interactive Medical Image Segmentation [58.553786162527686]
LIMISは、最初の純粋言語に基づく対話型医療画像分割モデルである。
我々は、Grounded SAMを医療領域に適応させ、言語に基づくモデルインタラクション戦略を設計する。
LIMISを3つの公開医療データセット上で,パフォーマンスとユーザビリティの観点から評価した。
論文 参考訳(メタデータ) (2024-10-22T12:13:47Z) - Hierarchical Text-to-Vision Self Supervised Alignment for Improved Histopathology Representation Learning [64.1316997189396]
病理組織像のための新しい言語型自己教師学習フレームワーク,階層型言語型自己監督(HLSS)を提案する。
その結果,OpenSRH と TCGA の2つの医用画像ベンチマークにおいて,最先端の性能が得られた。
論文 参考訳(メタデータ) (2024-03-21T17:58:56Z) - UMG-CLIP: A Unified Multi-Granularity Vision Generalist for Open-World Understanding [90.74967596080982]
本稿では,マルチグラニュラリティアライメントを備えたコントラスト言語-画像事前学習(CLIP)を拡張した。
UMG-CLIPと呼ばれる統一多言語学習フレームワークを開発した。
パラメータ効率のよいチューニングにより、UMG-CLIPは、現在広く使われているCLIPの亜種を超え、多様な画像理解ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-01-12T06:35:09Z) - IMITATE: Clinical Prior Guided Hierarchical Vision-Language Pre-training [15.04212780946932]
階層的視覚言語アライメントを用いた医療報告から構造情報を学習するための新しいフレームワークImitateを提案する。
このフレームワークは胸部X線(CXR)画像から多段階の視覚特徴を導出し、これらの特徴を階層的な医療報告に符号化された記述的および決定的テキストと別々に整列する。
論文 参考訳(メタデータ) (2023-10-11T10:12:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。