論文の概要: Characterizing Text Branch Sensitivity in Medical Vision-Language Segmentation via Evidence Decoupling
- arxiv url: http://arxiv.org/abs/2609.02663v1
- Date: Wed, 02 Sep 2026 14:38:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.416498
- Title: Characterizing Text Branch Sensitivity in Medical Vision-Language Segmentation via Evidence Decoupling
- Title（参考訳）: 医用視線におけるテキスト分岐感度の特徴-エビデンスデカップリングによる言語分割
- Abstract要約: マルチモーダル医療画像セグメンテーションにおけるテキストの役割について検討する。
本稿では,Decoupling Decoder (EDD) を提案する。
- 参考スコア（独自算出の注目度）: 11.04143971119602
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretrained vision-language models (VLMs) have shown promising performance in medical image segmentation by incorporating clinical text. However, it remains unclear how much textual information actually contributes to pixel-level predictions. In this work, we systematically investigate the role of text in multimodal medical image segmentation. We first analyze several commonly used fusion strategies and find that segmentation performance is largely insensitive to the choice of fusion module. To further understand modality interactions, we propose an Evidence Decoupling Decoder (EDD) based on evidential deep learning and deep supervision. EDD serves as an internal representation analysis tool that decomposes image evidence and text-modulated evidence throughout the decoding process while maintaining competitive segmentation performance. Experimental results show that the sensitivity to text perturbation varies substantially across datasets. On BUSI and BTMRI, removing text causes catastrophic performance drops, indicating strong model reliance on textual input. On ISIC and Kvasir-SEG, text exerts relatively marginal influence. We further find that text affects predictions mainly through global semantic modulation rather than independent spatial localization, and that the specific semantic components driving text sensitivity differ across datasets. These findings provide a deeper understanding of modality interaction in multimodal medical image segmentation and offer practical insights for future model design.
- Abstract（参考訳）: VLM(Pretrained Vision-Language Model)は,臨床テキストを取り入れた医用画像のセグメンテーションにおいて有望な性能を示した。
しかし、実際のテキスト情報が画素レベルの予測にどの程度貢献するかは、まだ不明である。
本研究では,マルチモーダル画像分割におけるテキストの役割を体系的に検討する。
まず、よく使われるフュージョン戦略を分析し、セグメンテーション性能がフュージョンモジュールの選択に大きく敏感であることを見出した。
モダリティの相互作用をより深く理解するために,明らかな深層学習と深層監視に基づくエビデンスデカップリングデコーダ(EDD)を提案する。
EDDは、競合セグメンテーション性能を維持しながら、デコードプロセスを通して画像証拠とテキスト変調エビデンスを分解する内部表現解析ツールとして機能する。
実験の結果,テキストの摂動に対する感度はデータセットによって大きく異なることがわかった。
BUSIとBTMRIでは、テキストの削除は破滅的なパフォーマンス低下を引き起こし、テキスト入力による強いモデル依存を示す。
ISICとKvasir-SEGでは、テキストは比較的限界的な影響を受けている。
さらに、テキストは、独立した空間的局所化ではなく、大域的な意味変調によって主に予測に影響を与え、テキストの感度を駆動する特定の意味要素はデータセットによって異なることがわかった。
これらの知見は, マルチモーダル画像分割におけるモダリティ相互作用のより深い理解を提供し, 将来のモデル設計に実用的な知見を与える。
関連論文リスト
- SwinTextUNet: Integrating CLIP-Based Text Guidance into Swin Transformer U-Nets for Medical Image Segmentation [3.464871689508836]
CLIP(Contrastive Language Image Pretraining)を組み込んだマルチモーダルセグメンテーションフレームワークであるSwinTextUNetを紹介する。
クロスアテンションと畳み込み融合を統合することで、モデルはセマンティックテキストガイダンスと階層的な視覚表現を効果的に整合させる。
提案手法は,QaTaCOV19データセットにおいて,提案した4段階のモデルを用いて,性能と複雑性の最適なバランスを実現する。
論文 参考訳（メタデータ） (2026-04-11T03:16:16Z) - Text-driven Multiplanar Visual Interaction for Semi-supervised Medical Image Segmentation [48.76848912120607]
半教師付き医用画像セグメンテーションは,高コストなデータアノテーションを緩和するための重要な手法である。
半教師型医用画像セグメンテーションのための新しいテキスト駆動型多面的視覚インタラクションフレームワーク(Termed Text-SemiSeg)を提案する。
我々のフレームワークは3つの主要なモジュールで構成されている。テキスト強化多平面表現(TMR)、カテゴリー認識セマンティックアライメント(CSA)、動的認知強化(DCA)である。
論文 参考訳（メタデータ） (2025-07-16T16:29:30Z) - Alleviating Textual Reliance in Medical Language-guided Segmentation via Prototype-driven Semantic Approximation [11.540847583052381]
ProLearnは、言語誘導セグメンテーションのためのプロトタイプ駆動学習フレームワークである。
テキスト入力からのセマンティックガイダンスの近似を可能にする新しいプロトタイプ駆動セマンティック近似(PSA)モジュールを提案する。
ProLearnは、制限されたテキストが利用できる場合、最先端の言語誘導メソッドより優れている。
論文 参考訳（メタデータ） (2025-07-15T07:38:49Z) - Learning Interpretable Representations Leads to Semantically Faithful EEG-to-Text Generation [52.51005875755718]
我々は脳波からテキストへの復号に焦点をあて、後部崩壊のレンズを通して幻覚の問題に対処する。
脳波とテキスト間の情報容量のミスマッチを認め、デコードタスクをコア意味のセマンティックな要約として再設計する。
パブリックなZuCoデータセットの実験では、GLIMが一貫して、流動的なEEG基底文を生成することが示されている。
論文 参考訳（メタデータ） (2025-05-21T05:29:55Z) - TextDiffSeg: Text-guided Latent Diffusion Model for 3d Medical Images Segmentation [0.0]
テキスト誘導拡散モデルフレームワークであるTextDiffSegは、3Dボリュームデータを自然言語記述と統合する。
複雑な解剖構造を認識するモデルの能力を高めることで、TextDiffSegは革新的なラベル埋め込み技術を取り入れている。
実験の結果、TextDiffSegは腎臓と膵腫瘍を含む分節作業において、既存の方法よりも一貫して優れていることが示された。
論文 参考訳（メタデータ） (2025-04-16T07:17:36Z) - STPNet: Scale-aware Text Prompt Network for Medical Image Segmentation [8.812162673772459]
医用画像のセグメンテーションを強化するために視覚認識モデリングを利用するスケール言語テキストプロンプトネットワークを提案する。
本手法では, 病変の局所化を誘導するために多スケールテキスト記述を用い, 検索・分節共同学習を採用している。
我々は、COVID-Xray、COVID-CT、Kvasir-SEGの3つのデータセットに対するビジョン言語アプローチを評価した。
論文 参考訳（メタデータ） (2025-04-02T10:01:42Z) - Towards Unified Multi-granularity Text Detection with Interactive Attention [56.79437272168507]
Detect Any Text"は、シーンテキストの検出、レイアウト分析、ドキュメントページの検出を結合的なエンドツーエンドモデルに統合する高度なパラダイムである。
DATにおける重要なイノベーションは、テキストインスタンスの表現学習を大幅に強化する、粒度横断型アテンションモジュールである。
テストによると、DATは様々なテキスト関連ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-05-30T07:25:23Z) - Uncertainty-aware Medical Diagnostic Phrase Identification and Grounding [72.18719355481052]
MRG(Messical Report Grounding)と呼ばれる新しい課題について紹介する。
MRGは医療報告から診断フレーズとその対応する接地箱を直接エンドツーエンドで識別することを目的としている。
マルチモーダルな大規模言語モデルを用いて診断フレーズを予測する,堅牢で信頼性の高いフレームワークである uMedGround を提案する。
論文 参考訳（メタデータ） (2024-04-10T07:41:35Z) - Language Guided Domain Generalized Medical Image Segmentation [68.93124785575739]
単一ソースドメインの一般化は、より信頼性が高く一貫性のあるイメージセグメンテーションを現実の臨床環境にわたって約束する。
本稿では,テキストエンコーダ機能によって案内されるコントラスト学習機構を組み込むことで,テキスト情報を明確に活用する手法を提案する。
文献における既存手法に対して,本手法は良好な性能を発揮する。
論文 参考訳（メタデータ） (2024-04-01T17:48:15Z) - Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文 参考訳（メタデータ） (2021-10-04T03:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。