論文の概要: Multimodal Hierarchical Mixture-of-Experts for 3D Medical Vision-Language Modeling

• arxiv url: http://arxiv.org/abs/2611.08185v1
• Date: Thu, 05 Nov 2026 15:40:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.566192
• Title: Multimodal Hierarchical Mixture-of-Experts for 3D Medical Vision-Language Modeling
• Title（参考訳）: 3次元医用ビジョンランゲージモデリングのためのマルチモーダル階層混合技術
• Abstract要約: MedHiVEは階層型視覚言語であるSoft Mixture-of-Experts(SMoE)とコントラスト学習を組み合わせて,微細な解剖学とグローバルスキャンのコンテキストを協調的にモデル化する。 MedHiVEは、ローカル画像とテキストの特徴をまずローカルSMoEにルーティングし、グローバルSMoEによって統合されたマルチモーダル表現に融合する、2レベルで学習可能なトークンルーティング機構を介して動作する。
• 参考スコア（独自算出の注目度）: 10.770313359459045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Medical 3D scans and reports are inherently hierarchical, with diagnostic cues concentrated in specific anatomical regions across multiple levels of organization. Yet, most medical vision-language models ignore this structure and fail to focus on clinically relevant anatomy. We introduce MedHiVE, which combines hierarchical vision-language Soft Mixture-of-Experts (SMoE) with contrastive learning to jointly model fine-grained anatomy and global scan context. To our knowledge, MedHiVE is the first framework to route both vision and text tokens through a two-level SMoE hierarchy organized by anatomical scale, coupling this with report-derived anatomy-level contrastive alignment for 3D medical imaging. This replaces the direct region-text alignment of statically pooled features and vision-only hierarchical routing of prior work with dynamic, slot-based cross-modal information flow across anatomical scales. MedHiVE operates via a two-level, learnable token-routing mechanism, where local image and text features are first routed through a local SMoE and then fused by a global SMoE into unified multimodal representations. Contrastive learning aligns both anatomy-level and global vision-language representations in a unified space. Pre-trained on 25,000+ CT scans with anatomical supervision, MedHiVE consistently surpasses 11 state-of-the-art methods across 6 datasets on 3 tasks: segmentation, classification, and detection, demonstrating the importance of hierarchical modeling. The code for MedHiVE is at github.com/szczurek-lab/MedHiVE.
• Abstract（参考訳）: 医学的な3Dスキャンとレポートは本質的に階層的であり、診断の手がかりは複数のレベルの組織で特定の解剖学的領域に集中している。 しかし、ほとんどの医療ビジョン言語モデルは、この構造を無視し、臨床的に関係のある解剖学に焦点をあてることができない。 MedHiVEは階層型視覚言語であるSoft Mixture-of-Experts(SMoE)とコントラスト学習を組み合わせて,微細な解剖学とグローバルスキャンのコンテキストを協調的にモデル化する。 我々の知る限り、MedHiVEは、解剖学的スケールで組織された2段階のSMoE階層を通して視覚とテキストトークンの両方をルーティングする最初のフレームワークであり、これを3D医療画像のためのレポート由来の解剖学的レベルのコントラストアライメントと組み合わせている。 これは静的プールされた特徴の直接領域テキストアライメントと、解剖学的スケールをまたいだ動的スロットベースのクロスモーダル情報フローによる以前の作業の視覚のみの階層的ルーティングを置き換える。 MedHiVEは、ローカル画像とテキストの特徴をまずローカルSMoEにルーティングし、グローバルSMoEによって統合されたマルチモーダル表現に融合する、2レベルで学習可能なトークンルーティング機構を介して動作する。 対照的な学習は、統一された空間における解剖学レベルと大域的な視覚言語表現の両方を整列させる。 解剖学的監督を伴う25,000以上のCTスキャンで事前トレーニングされたMedHiVEは、セグメンテーション、分類、検出という3つのタスク上の6つのデータセットにまたがる11の最先端メソッドを一貫して上回り、階層的モデリングの重要性を示している。 MedHiVEのコードはgithub.com/szczurek-lab/MedHiVEにある。

関連論文リスト

• MedVTok: A General-Purpose Medical Visual Tokenizer [58.92639578891136]
  MedVTokは2次元画像と3次元ボリュームを多彩な画像モダリティから統一されたトークン空間にマッピングする汎用的なビジュアルトークンライザである。 MedVTokは、分類、検索、セグメンテーション、合成、視覚的質問応答、医療レポート生成をサポートする。 24のベンチマークで、MedVTokは最先端のパフォーマンスを実現し、医療画像の寸法、モダリティ、タスク使用を統一するスケーラブルなトークンインターフェースを実証した。
  論文  参考訳（メタデータ） (2026-10-26T17:54:40Z)
• MedPlex: Deep Vision-Language Co-Adaptation for Clinically Grounded Medical Segmentation [8.760474194841908]
  MedPlexは、テキストガイダンスをセグメンテーション学習の継続的かつ臨床的基盤となるエンドツーエンドのVLMフレームワークである。 MedPlexは、多臓器、心臓のサブ構造、腫瘍のセグメンテーションのためのCTおよびMRベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-08-13T18:37:13Z)
• ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding [67.57715989349471]
  MLLM(Multimodal large language model)は、臨床実践に革命をもたらす大きな可能性を秘めている。 我々は、総合的な医学的理解のために設計された視覚中心のMLLMであるClinFusionを紹介する。 ClinFusionは、総合的な2Dおよび3Dマルチモーダル・メディカル・ベンチマーク・スイートにまたがって、最先端の新たな状態を設定する。
  論文  参考訳（メタデータ） (2026-07-27T17:59:49Z)
• ASAP: Advancing Medical Volumetric Representation Learning with Anatomy-aware Semantically-adaptive Pre-training [26.518178155362634]
  本稿では,医用ボリューム表現学習のための視覚言語事前学習フレームワークを提案する。 解剖学的知識注入モジュールは,(1)臓器レベルでの構造的前提を組み込んだもの,(2)文レベルの発見と局所的な領域を関連付ける意味的適応的選択的アライメント機構,(3)解剖学的に認知された視覚的特徴と接地されたテキストの手がかりとを効果的に相互作用するための意味的適応的融合モジュールである。
  論文  参考訳（メタデータ） (2026-05-30T07:59:21Z)
• MedPruner: Training-Free Hierarchical Token Pruning for Efficient 3D Medical Image Understanding in Vision-Language Models [59.180043227905294]
  MedPrunerは、3次元医用画像の効率的な理解のためのトレーニング不要でモデルに依存しない階層的トークンプレーニングフレームワークである。 我々は、MedPrunerによって、MedGemmaのようなモデルが元の性能を維持したり、超えたりすることが可能であり、ビジュアルトークンの5%以下を維持していることを示す。
  論文  参考訳（メタデータ） (2026-03-12T07:37:00Z)
• MedVL-SAM2: A unified 3D medical vision-language model for multimodal reasoning and prompt-driven segmentation [11.762545584252052]
  本稿では,レポート生成,VQA,マルチパラダイムセグメンテーションをサポートする統合された3次元医療マルチモーダルモデルを提案する。 MedVL-SAM2は、画像レベルの推論とピクセルレベルの認識を3D医療画像用に調整された凝集性アーキテクチャによって統合する。 我々の統合アーキテクチャは、レポート生成、VQA、複数の3Dセグメンテーションタスクにまたがって最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2026-01-14T21:21:00Z)
• DuPLUS: Dual-Prompt Vision-Language Framework for Universal Medical Image Segmentation and Prognosis [5.494301428436596]
  効率的なマルチモーダル医療画像解析のためのディープラーニングフレームワークであるDuPLUSを紹介する。 DuPLUSは、階層的セマンティックプロンプトを利用して分析タスクのきめ細かい制御を行う新しい視覚言語フレームワークを導入した。 セグメンテーションのために、DuPLUSは、30以上の臓器と腫瘍タイプを含む10の異なる医療データセットである3つの画像モダリティを一般化することができる。
  論文  参考訳（メタデータ） (2025-10-03T20:01:00Z)
• VELVET-Med: Vision and Efficient Language Pre-training for Volumetric Imaging Tasks in Medicine [11.993301266706139]
  我々は,3次元CTや関連する放射線学報告など,限られたボリュームデータを対象とした視覚言語事前学習フレームワーク「textbfVELVET-Med」を提案する。 本研究は,ボリューム医療画像とそれに対応する臨床物語に埋め込まれた,豊かな空間的・意味的関係を明らかにすることを目的としている。 結果として得られるエンコーダは強い転送可能性を示し、幅広い下流タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-08-16T17:08:43Z)
• Unlocking the Power of Spatial and Temporal Information in Medical Multimodal Pre-training [99.2891802841936]
  我々は,空間的・時間的微粒なモデリングのためのMed-STフレームワークを提案する。 空間モデリングでは、Med-STはMixture of View Expert (MoVE)アーキテクチャを使用して、正面と横の両方のビューから異なる視覚的特徴を統合する。 時間的モデリングのために,フォワードマッピング分類 (FMC) とリバースマッピング回帰 (RMR) による新たな双方向サイクル整合性目標を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:15:09Z)
• Mine yOur owN Anatomy: Revisiting Medical Image Segmentation with Extremely Limited Labels [54.58539616385138]
  我々は、Mine yOur owN Anatomy (MONA) と呼ばれる、新しい半教師付き2次元医用画像セグメンテーションフレームワークを紹介する。 まず、先行研究では、すべてのピクセルがモデルトレーニングに等しく重要であると論じており、我々はこの1つだけで意味のある解剖学的特徴を定義できないことを経験的に観察している。 第2に,医療画像を解剖学的特徴の集合に分解できるモデルを構築する。
  論文  参考訳（メタデータ） (2022-09-27T15:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。