論文の概要: SegBanana: Steering Unified Multimodal Models into Medical Segmenters

• arxiv url: http://arxiv.org/abs/2609.34235v1
• Date: Mon, 28 Sep 2026 03:39:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 22:42:15.59676
• Title: SegBanana: Steering Unified Multimodal Models into Medical Segmenters
• Title（参考訳）: SegBanana: 統一マルチモーダルモデルを医療セグメントにステアリング
• Abstract要約: 統合マルチモーダルモデル (UMM) が, 予め訓練された視覚的理解, 推論, 生成能力を医用画像セグメントに転送できるかどうかを検討する。 セグメンテーションを構造化視覚生成として再キャストすることで、フロンティアのUMMは様々な臨床シナリオにまたがる基本的なセグメンテーション能力を持っていることが分かる。 我々は、SegBananaをトレーニング不要な医用画像セグメンテーションのための最初のエージェント・ビジュアル・ジェネレーション・フレームワークとして提案する。
• 参考スコア（独自算出の注目度）: 39.52205342983189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Medical image segmentation remains challenging in practical deployment, as models often struggle to generalize beyond the distributions covered by their training data and high-quality pixel-level annotations are typically unavailable for adaptation. Inspired by the cross-task transferability of large language models, we investigate whether unified multimodal models (UMMs) can transfer their pretrained visual understanding, reasoning, and generation capabilities to medical image segmentation without task-specific post-training. By recasting segmentation as structured visual generation, we find that frontier UMMs (e.g., Nano Banana) already exhibit basic segmentation capabilities across diverse clinical scenarios, but still struggle with challenging tasks requiring specialized anatomical or domain-specific knowledge. We further show that these limitations can be effectively mitigated by incorporating visual anatomical knowledge from in-context exemplars, expanding candidate solutions through repeated sampling, and refining suboptimal predictions via targeted editing.Motivated by these observations, we propose SegBanana, to our knowledge, the first agentic visual generation framework for training-free medical image segmentation. SegBanana builds on a frozen UMM as the core generative model, augmented with Anatomy-Aware Knowledge Retrieval and Comparative Quality Critique to unlock its potential segmentation capability. A State-Aware Multimodal Controller maintains structured state and iteratively orchestrates these tools, repeatedly refining intermediate predictions toward higher-quality masks. Across eight medical segmentation datasets, SegBanana achieves an average mDice of 77.45%, outperforming representative generalist (SAM3 and SegGPT) and medical-specific (BiomedParse and MedSAM3) baselines by at least 14.93 points, while remaining robust to out-of-domain visual supports.
• Abstract（参考訳）: 医療画像のセグメンテーションは、トレーニングデータによってカバーされる分布を超えた一般化に苦慮し、高品質なピクセルレベルのアノテーションは通常適応できないため、実践的な展開では難しいままである。 大規模言語モデルのクロスタスク変換性に着想を得て,統合マルチモーダルモデル(UMM)が,タスク固有の後トレーニングを伴わずに,事前学習した視覚的理解,推論,生成能力を医療画像セグメントに転送できるかどうかを検討した。 セグメンテーションを構造化ビジュアルジェネレーションとして再キャストすることで、フロンティアUMM(例えばNano Banana)は、様々な臨床シナリオにまたがる基本的なセグメンテーション能力を持っているが、それでも専門的な解剖学やドメイン固有の知識を必要とする課題に苦戦していることがわかった。 さらに、これらの制限は、文脈内見地からの視覚的解剖学的知識を取り入れ、反復サンプリングによる候補解を拡張し、ターゲット編集による最適下限予測を洗練することにより効果的に緩和できることを示し、これらの観察により、トレーニング不要な医用画像セグメンテーションのための最初のエージェント的視覚生成フレームワークであるSegBananaを提案する。 SegBananaは、その潜在的なセグメンテーション能力を解き放つために、Anatomy-Aware Knowledge RetrievalとComparial Quality Critiqueで強化された、凍結したUMMをコア生成モデルとして構築している。 State-Aware Multimodal Controllerは構造化された状態を維持し、これらのツールを反復的にオーケストレーションし、高品質なマスクに対する中間予測を繰り返す。 8つの医学セグメンテーションデータセットの中で、セグバナは平均77.45%のmDiceを達成し、代表的ジェネリスト(SAM3とSegGPT)と医療特化(BiomedParseとMedSAM3)のベースラインを少なくとも14.93ポイント上回っている。

関連論文リスト

• MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models [83.50100003741628]
  ビジョンと言語モデル(VLM)は、バイオメディカルイメージングを変革する大きな可能性を秘めている。 本稿では,MMBU(Massive Multimodal Biomedical Understanding)ベンチマークを紹介する。 今までで最大のビジョンと言語ベンチマークで、35のサブモダリティと豊富な構造化メタデータをカバーしている。
  論文  参考訳（メタデータ） (2026-06-04T20:24:47Z)
• Adapting Segment Anything Model 3 for Concept-Driven Lesion Segmentation in Medical Images: An Experimental Study [6.850135803678454]
  病変の分節に対するSegment Anything Model 3 (SAM3) の体系的評価を行った。 11種類の病変を含む13のデータセットの実験では、SAM3が強い相互モダリティの一般化を実現することが示されている。 これらの結果は,スケーラブルで実用的な医用画像セグメンテーションのための概念ベース基盤モデルの可能性を強調した。
  論文  参考訳（メタデータ） (2026-03-26T22:30:10Z)
• Multimodal Causal-Driven Representation Learning for Generalizable Medical Image Segmentation [56.52520416420957]
  医用画像セグメンテーションにおける領域一般化に取り組むために, MCDRL(Multimodal Causal-Driven Representation Learning)を提案する。 MCDRLは競合する手法より一貫して優れ、セグメンテーション精度が優れ、堅牢な一般化性を示す。
  論文  参考訳（メタデータ） (2025-08-07T03:41:41Z)
• MRGen: Segmentation Data Engine for Underrepresented MRI Modalities [59.61465292965639]
  稀ながら臨床的に重要な画像モダリティのための医用画像分割モデルの訓練は、注釈付きデータの不足により困難である。 本稿では,データ合成における生成モデルの利用について検討する。 本稿では,テキストプロンプトとセグメンテーションマスクを条件とした医用画像合成のためのデータエンジンMRGenを提案する。
  論文  参考訳（メタデータ） (2024-12-04T16:34:22Z)
• MedCLIP-SAMv2: Towards Universal Text-Driven Medical Image Segmentation [2.2585213273821716]
  MedCLIP-SAMv2はCLIPとSAMモデルを統合して臨床スキャンのセグメンテーションを行う新しいフレームワークである。 提案手法は,DHN-NCE(Decoupled Hard Negative Noise Contrastive Estimation)によるBiomedCLIPモデルの微調整を含む。 また,ゼロショットセグメンテーションラベルを弱教師付きパラダイム内で使用することにより,セグメンテーション品質をさらに向上する。
  論文  参考訳（メタデータ） (2024-09-28T23:10:37Z)
• Generalizable multi-task, multi-domain deep segmentation of sparse pediatric imaging datasets via multi-scale contrastive regularization and multi-joint anatomical priors [0.41998444721319217]
  本稿では,複数のデータセットに対して単一セグメンテーションネットワークを最適化する,新しいマルチタスク・マルチドメイン学習フレームワークを提案する。 足関節, 膝関節, 肩関節の3つの軽度, 小児画像データセットを用いた骨分節術の成績について検討した。
  論文  参考訳（メタデータ） (2022-07-27T12:59:16Z)
• Few-shot Medical Image Segmentation using a Global Correlation Network with Discriminative Embedding [60.89561661441736]
  医療画像分割のための新しい手法を提案する。 深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。 深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
  論文  参考訳（メタデータ） (2020-12-10T04:01:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。