論文の概要: Localization-Infused Vision-Language Semantic Fusion for Text-Guided Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2607.16327v1
• Date: Wed, 15 Jul 2026 14:06:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.113448
• Title: Localization-Infused Vision-Language Semantic Fusion for Text-Guided Medical Image Segmentation
• Title（参考訳）: テキストガイド型医用画像分割のための局所注入型ビジョンランゲージ・セマンティックフュージョン
• Abstract要約: テキスト誘導医療画像セグメンテーションのためのローカライズ・インフュージョン・ビジョン言語融合フレームワークであるLoGを提案する。 LoGは、ターゲット指向の視覚言語セマンティクスを明示的にキャプチャし、3段階のローカライゼーションによるセマンティクス融合を可能にする。 LoGは、最先端の医療画像セグメンテーション方法より一貫して優れている。
• 参考スコア（独自算出の注目度）: 3.504776018544176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Medical image segmentation is essential for modern computer-aided medicine. Recently, text-guided segmentation has shown promise by incorporating clinician-formulated textual reports as semantic guidance for image segmentation. These reports describe target appearance, location, and neighboring anatomy, providing explicit guidance for localization and delineation. Existing text-guided segmentation methods typically extract textual semantics implicitly through a pretrained text encoder and then integrate vision-language semantics via straightforward image-text feature fusion. However, these methods do not explicitly capture target-oriented information embedded in textual reports, particularly target location, and do not explore multi-level information fusion strategies beyond basic feature-level fusion, limiting the extraction and integration of critical textual semantics. In this study, we propose LoG, a localization-infused vision-language fusion framework for text-guided medical image segmentation. By jointly performing multi-scale target localization tasks, LoG explicitly captures target-oriented vision-language semantics and enables three-level localization-infused semantic fusion: (i) localization-guided feature fusion that directly infuses location-relevant semantics into visual features, (ii) localization-gated attention fusion that redirects multi-scale localization predictions to reinforce critical regions, and (iii) localization-constrained loss fusion that supervises segmentation based on spatial consistency with target localization. Extensive experiments on three benchmark datasets, involving three medical imaging modalities with paired textual reports, demonstrate that LoG achieves Dice scores of 91.59%, 80.71%, and 94.59% on QaTa-COV19, MosMedData+, and Kvasir-SEG, respectively, consistently outperforming state-of-the-art medical image segmentation methods.
• Abstract（参考訳）: 医用画像のセグメンテーションは現代のコンピュータ支援医療にとって不可欠である。 近年,画像セグメンテーションのセグメンテーションのセグメンテーションとして,クリニック形式のテキストレポートを組み込むことによって,テキスト誘導セグメンテーションが約束されている。 これらの報告では, ターゲットの出現, 位置, 近隣の解剖について記述し, 局所化とデライン化の明確なガイダンスを提供する。 既存のテキスト誘導セグメンテーション手法は、通常、事前訓練されたテキストエンコーダを通して暗黙的にテキスト意味を抽出し、直接的な画像-テキスト特徴融合を通じて視覚言語意味論を統合する。 しかし、これらの手法は、テキストレポートに埋め込まれたターゲット指向情報、特にターゲット位置を明示的に捉えておらず、基本的な特徴レベルの融合以上の多レベル情報融合戦略を探求せず、重要なテキストセマンティクスの抽出と統合を制限している。 本研究では,テキスト誘導型医用画像分割のためのローカライズ・インフュージョン・ビジョン言語融合フレームワークであるLoGを提案する。 マルチスケールなターゲットローカライズタスクを共同実行することにより、LoGはターゲット指向の視覚言語セマンティクスを明示的にキャプチャし、3段階のローカライズ・インフュージョン・セマンティクス融合を可能にする。 (i)位置関連セマンティクスを直接視覚的特徴に注入する局所化誘導機能融合 二 重要領域の強化のために複数スケールの局所化予測をリダイレクトする局所化促進型注意融合 3) 空間的整合性に基づくセグメンテーションを監督する局所化制約損失融合。 3つのベンチマークデータセットの大規模な実験では、3つの医用画像モダリティとペアのテキストレポートを伴い、LoGがQaTa-COV19、MosMedData+、Kvasir-SEGで91.59%、80.71%、94.59%のDiceスコアを達成した。

関連論文リスト

• MedPlex: Deep Vision-Language Co-Adaptation for Clinically Grounded Medical Segmentation [8.760474194841908]
  MedPlexは、テキストガイダンスをセグメンテーション学習の継続的かつ臨床的基盤となるエンドツーエンドのVLMフレームワークである。 MedPlexは、多臓器、心臓のサブ構造、腫瘍のセグメンテーションのためのCTおよびMRベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-08-13T18:37:13Z)
• Enhancing Medical Visual Grounding via Knowledge-guided Spatial Prompts [52.256130375429414]
  医用ビジュアルグラウンドリング(MVG)は、フリーテキストラジオグラフィーレポートから関連するフレーズを識別し、医療画像中の対応する領域をローカライズすることを目的としている。 我々は,フレーズ関連医療知識をコンパクトな埋め込みにエンコードする知識強化促進戦略であるKnowMVGを提案する。 この設計は、余分なテキスト推論オーバーヘッドを導入することなく、高レベルな意味理解ときめ細かい視覚知覚を橋渡しする。
  論文  参考訳（メタデータ） (2026-04-02T11:31:30Z)
• Text-driven Multiplanar Visual Interaction for Semi-supervised Medical Image Segmentation [48.76848912120607]
  半教師付き医用画像セグメンテーションは,高コストなデータアノテーションを緩和するための重要な手法である。 半教師型医用画像セグメンテーションのための新しいテキスト駆動型多面的視覚インタラクションフレームワーク(Termed Text-SemiSeg)を提案する。 我々のフレームワークは3つの主要なモジュールで構成されている。テキスト強化多平面表現(TMR)、カテゴリー認識セマンティックアライメント(CSA)、動的認知強化(DCA)である。
  論文  参考訳（メタデータ） (2025-07-16T16:29:30Z)
• BiPVL-Seg: Bidirectional Progressive Vision-Language Fusion with Global-Local Alignment for Medical Image Segmentation [9.262045402495225]
  BiPVL-Segは、視覚言語融合と埋め込みアライメントを統合するエンドツーエンドフレームワークである。 BiPVL-Segはアーキテクチャにプログレッシブ融合を導入し、視覚とテキストエンコーダの段階的な情報交換を容易にする。 これは、クラスレベルと概念レベルの両方でテキストと視覚の埋め込みをアライメントすることで、テキストエンコーダの理解を高める訓練目的である。
  論文  参考訳（メタデータ） (2025-03-30T17:34:39Z)
• Language-guided Medical Image Segmentation with Target-informed Multi-level Contrastive Alignments [7.9714765680840625]
  ターゲット型マルチレベルコントラストアライメント(TMCA)を用いた言語誘導セグメンテーションネットワークを提案する。 TMCAは、言語誘導セグメンテーションにおけるパターンギャップを橋渡しするために、ターゲット・インフォームド・クロスモダリティアライメントときめ細かいテキストガイダンスを可能にする。
  論文  参考訳（メタデータ） (2024-12-18T06:19:03Z)
• LIMIS: Towards Language-based Interactive Medical Image Segmentation [58.553786162527686]
  LIMISは、最初の純粋言語に基づく対話型医療画像分割モデルである。 我々は、Grounded SAMを医療領域に適応させ、言語に基づくモデルインタラクション戦略を設計する。 LIMISを3つの公開医療データセット上で,パフォーマンスとユーザビリティの観点から評価した。
  論文  参考訳（メタデータ） (2024-10-22T12:13:47Z)
• Boosting Weakly-Supervised Referring Image Segmentation via Progressive Comprehension [40.21084218601082]
  本稿では、画像とテキストのペアから直接ターゲットのローカライゼーションを学習する、困難な設定に焦点を当てる。 そこで本研究では,対象対象対象の局所化にターゲット関連テキストキューを活用する新しいプログレッシブネットワーク(PCNet)を提案する。 本手法は3つのベンチマークでSOTA法より優れている。
  論文  参考訳（メタデータ） (2024-10-02T13:30:32Z)
• SGSeg: Enabling Text-free Inference in Language-guided Segmentation of Chest X-rays via Self-guidance [10.075820470715374]
  テキストフリー推論(ユニモーダル)を実現しつつ、学習のための言語指導(マルチモーダル)を活用するセルフガイドセグメンテーションフレームワーク(SGSeg)を提案する。 本報告では, 肺, 病理組織ともに重要な位置情報を活用するとともに, 自己指導のための臨床報告を生成するために, 新たな局所化強化レポート生成(LERG)モジュールを導入する。 我々のLERGは、位置認識型擬似ラベル抽出モジュールによって弱制御された、オブジェクト検出器と位置ベースアグリゲータを統合している。
  論文  参考訳（メタデータ） (2024-09-07T08:16:00Z)
• Language Guided Domain Generalized Medical Image Segmentation [68.93124785575739]
  単一ソースドメインの一般化は、より信頼性が高く一貫性のあるイメージセグメンテーションを現実の臨床環境にわたって約束する。 本稿では,テキストエンコーダ機能によって案内されるコントラスト学習機構を組み込むことで,テキスト情報を明確に活用する手法を提案する。 文献における既存手法に対して,本手法は良好な性能を発揮する。
  論文  参考訳（メタデータ） (2024-04-01T17:48:15Z)
• Image-Specific Information Suppression and Implicit Local Alignment for Text-based Person Search [61.24539128142504]
  テキストベースの人物検索(TBPS)は,問合せテキストが与えられた画像ギャラリーから同一の身元で歩行者画像を検索することを目的とした課題である。 既存の手法の多くは、モダリティ間の微粒な対応をモデル化するために、明示的に生成された局所的な部分に依存している。 TBPSのためのマルチレベルアライメントネットワーク(MANet)を提案する。
  論文  参考訳（メタデータ） (2022-08-30T16:14:18Z)
• Referring Image Segmentation via Cross-Modal Progressive Comprehension [94.70482302324704]
  画像セグメンテーションの参照は、自然言語表現で与えられた記述によく一致するエンティティの前景マスクをセグメンテーションすることを目的としている。 従来のアプローチでは、暗黙的な特徴相互作用と視覚的モダリティと言語的モダリティの融合を用いてこの問題に対処していた。 本稿では,この課題に効果的に対応するために,Cross-Modal Progressive (CMPC) モジュールと Text-Guided Feature Exchange (TGFE) モジュールを提案する。
  論文  参考訳（メタデータ） (2020-10-01T16:02:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。