論文の概要: SAM Meets VLM: Parameter-Decoupled Full-Parameter Training for Unified Medical Reasoning and Segmentation

• arxiv url: http://arxiv.org/abs/2609.37283v1
• Date: Tue, 29 Sep 2026 11:27:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.442719
• Title: SAM Meets VLM: Parameter-Decoupled Full-Parameter Training for Unified Medical Reasoning and Segmentation
• Title（参考訳）: SAMとVLM: 統一医療推論とセグメンテーションのためのパラメータ分離フルパラメータトレーニング
• Abstract要約: 本稿では,統合医療推論とセグメンテーションのためのパラメータ分離トレーニングフレームワークを提案する。 我々のフレームワークは、競争力のある推論能力を維持しながら、強い言語条件のセグメンテーションを実現する。
• 参考スコア（独自算出の注目度）: 7.5675484517329
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Medical multimodal large language models (MLLMs) are increasingly expected not only to answer clinical questions, but also to localize the visual evidence behind their predictions. A common strategy connects a vision--language model (VLM) with SAM-style segmentation through a special <SEG> token, yet full-parameter training of this unified architecture is difficult because image-level reasoning and pixel-level segmentation impose different requirements on the shared representation space. To address this issue, we propose a parameter-decoupled training framework for unified medical reasoning and segmentation. The framework treats the <SEG> hidden state as a semantic-to-spatial prompt for the mask decoder and encourages it to become separable from generic language states, reducing ambiguous segmentation prompts and potential disruption to reasoning representations. It first performs medical shallow alignment to adapt visual features to clinical language without disturbing the LLM; then controlled instruction tuning shapes separable <SEG> prompt states, monitored by the Davies--Bouldin Index (DBI), while scaling segmentation gradients entering the language backbone; finally, the SAM branch is specialized with the VLM frozen to improve mask precision without altering reasoning parameters. Experiments on medical referring segmentation, grounding, visual QA, and textual QA benchmarks show that our framework achieves strong language-conditioned segmentation while preserving competitive reasoning ability. Ablations show that two-phase instruction tuning, gradient scaling, and segmentation specialization all contribute to the model.
• Abstract（参考訳）: 医療マルチモーダル大言語モデル(MLLM)は、臨床的な疑問に答えるだけでなく、その予測の背後にある視覚的証拠をローカライズすることがますます期待されている。 共通戦略は、視覚言語モデル(VLM)とSAMスタイルのセグメンテーションを特別な<SEG>トークンで結びつけるが、画像レベルの推論とピクセルレベルのセグメンテーションが共有表現空間に異なる要件を課すため、この統合アーキテクチャのフルパラメータトレーニングは困難である。 この問題に対処するために,統合医療推論とセグメンテーションのためのパラメータ分離トレーニングフレームワークを提案する。 このフレームワークは<SEG>隠蔽状態をマスクデコーダの意味空間的プロンプトとして扱い、汎用言語状態と分離しやすくし、曖昧なセグメンテーションプロンプトを減らし、表現を推論する可能性を減らす。 LLMを乱さずに視覚的特徴を臨床言語に適応させる医用浅層アライメントを行い、次に、Davies--Bouldin Index (DBI) によって監視される、制御可能な<SEG>プロンプトステートを制御し、言語バックボーン内にセグメンテーション勾配を拡大し、最後にSAMブランチは、推論パラメータを変更することなくマスク精度を向上させるために凍結したVLMを専門とする。 医学参照セグメンテーション,グラウンドディング,視覚的QA,テキストQAベンチマークの実験から,我々のフレームワークは,競争力のある推論能力を維持しつつ,強力な言語条件セグメンテーションを実現していることが示された。 アブレーションは、二相命令チューニング、勾配スケーリング、セグメンテーションの特殊化が全てモデルに寄与していることを示している。

関連論文リスト

• SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
  推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。 既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。 明示的なWhat-whereインターフェースであるSeGDePを提示する。
  論文  参考訳（メタデータ） (2026-09-08T15:11:32Z)
• SCALPEL: Semantic Cross-modal Alignment via LLM-Powered Encoder Learning for Medical Vision-Language Representation [5.487826115955642]
  ビジョン言語による事前訓練は、医学的マルチモーダル表現学習の基盤となる。 textbfLLM-textbfPowered textbfEncoder textbfLearning による textbfSemantic textbfCross-modal textbfAlignment フレームワーク textbfSCALPEL を提案する。
  論文  参考訳（メタデータ） (2026-07-29T13:12:32Z)
• Multi-View Synergistic Learning with Vision-Language Adaption for Low-Resource Biomedical Image Classification [59.24009931000134]
  MVSL(Multi-View Synergistic Learning)は、適応パラダイム、表現の粒度、疾患の意味的関係に対処する統合フレームワークである。 MVSLは、視覚的およびテキスト的エンコーダの適応を分離し、それぞれの表現特性を尊重する。 さらに、グローバルなイメージセマンティクスと局所的な病変レベルの証拠の両方を明示的にモデル化するために、多粒性コントラスト学習を導入する。 MVSLは、いくつかのショットとゼロショットの分類設定において、最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2026-04-27T02:41:27Z)
• CORE-Seg: Reasoning-Driven Segmentation for Complex Lesions via Reinforcement Learning [48.77689764063103]
  推論駆動型複雑病変セグメンテーションのための最初の多種多様なChain-of-ThoughtベンチマークであるComLesion-14Kを紹介する。 本稿では,セマンティックガイド型プロンプトアダプタによる推論とセグメンテーションを統合したエンドツーエンドフレームワークであるCORE-Segを提案する。 我々の手法は、平均Diceが37.06%(第2ベットベースラインよりも14.89%高い)であり、失敗率は18.42%に低下する。
  論文  参考訳（メタデータ） (2026-03-06T04:58:55Z)
• TGC-Net: A Structure-Aware and Semantically-Aligned Framework for Text-Guided Medical Image Segmentation [56.09179939570486]
  本稿では,パラメータ効率,タスク固有適応に着目したCLIPベースのフレームワークであるTGC-Netを提案する。 TGC-Netは、挑戦的なベンチマークで顕著なDiceゲインを含む、トレーニング可能なパラメータをかなり少なくして、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-12-24T12:06:26Z)
• Vision-Language Enhanced Foundation Model for Semi-supervised Medical Image Segmentation [6.524403694193453]
  半教師付き学習(SSL)は医用画像セグメンテーションの有効なパラダイムとして登場した。 SSLフレームワークに基盤レベルの視覚的セマンティック理解を組み込んだVESSA(Vision-Language Enhanced Semi-supervised Assistant)を導入する。 ステージ1では、VESSAはゴールドスタンダードの例を含むテンプレートバンクを使用して、参照誘導セグメンテーションアシスタントとして訓練される。 ステージ2では、VESSAは最先端のSSLフレームワークに統合され、学生モデルとの動的相互作用を可能にする。
  論文  参考訳（メタデータ） (2025-11-24T22:33:19Z)
• RAU: Reference-based Anatomical Understanding with Vision Language Models [26.06602931463068]
  視覚言語モデル(VLM)を用いた参照型解剖学的理解のためのフレームワークであるRAUを紹介する。 まず,VLMが参照画像と対象画像の相対的空間的推論により解剖学的領域の同定を学習することを示す。 次に, VLM由来の空間的手がかりをSAM2の細粒度セグメンテーション能力とシームレスに統合できることを実証した。
  論文  参考訳（メタデータ） (2025-09-26T14:32:03Z)
• MedSeg-R: Reasoning Segmentation in Medical Images with Multimodal Large Language Models [48.24824129683951]
  本稿では,複雑で暗黙的な医療指導に基づくセグメンテーションマスク作成を目的とした新しい課題である医用画像推論セグメンテーションを紹介する。 そこで本稿では,MLLMの推論能力を利用して臨床問題を理解するエンドツーエンドフレームワークであるMedSeg-Rを提案する。 1)画像の解釈と複雑な医用命令の理解を行い,マルチモーダルな中間トークンを生成するグローバルコンテキスト理解モジュール,2)これらのトークンをデコードして正確なセグメンテーションマスクを生成するピクセルレベルのグラウンドモジュールである。
  論文  参考訳（メタデータ） (2025-06-12T08:13:38Z)
• LIMIS: Towards Language-based Interactive Medical Image Segmentation [58.553786162527686]
  LIMISは、最初の純粋言語に基づく対話型医療画像分割モデルである。 我々は、Grounded SAMを医療領域に適応させ、言語に基づくモデルインタラクション戦略を設計する。 LIMISを3つの公開医療データセット上で,パフォーマンスとユーザビリティの観点から評価した。
  論文  参考訳（メタデータ） (2024-10-22T12:13:47Z)
• Language-guided Scale-aware MedSegmentor for Lesion Segmentation in Medical Imaging [7.912408164613206]
  臨床的には、特定の病変の分節化は診断精度と治療効率を著しく向上させる。 本稿では,与えられたテキスト表現に基づいて,医療画像のターゲット病変をセグメント化する言語誘導型大規模メドセグメンタ(LSMS)を提案する。 我々のLSMSは、計算コストを大幅に下げて、常に優れた性能を実現しています。
  論文  参考訳（メタデータ） (2024-08-30T15:22:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。