論文の概要: Text as Illumination: Spatial Contrastive Retinex Learning for Language-guided Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2606.27794v1
- Date: Fri, 26 Jun 2026 07:27:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.407681
- Title: Text as Illumination: Spatial Contrastive Retinex Learning for Language-guided Medical Image Segmentation
- Title(参考訳): イルミネーションとしてのテキスト:言語誘導型医用画像セグメンテーションのための空間コントラスト網膜学習
- Abstract要約: 言語誘導医療画像(LMIS)は解剖学的構造や病変の描写を改善する大きな可能性を示している。
既存の手法では、テキストと視覚的特徴間の暗黙的な相互作用や、モーダル・アライメントのための粗いきめ細かな監督に依存している。
本稿では,テキスト埋め込みを意味的な照明として扱う新しいフレームワークであるText-as-Illumination Retinex Network (TIRNet)を提案する。
- 参考スコア(独自算出の注目度): 81.21550084361755
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language-guided Medical Image Segmentation (LMIS) has shown great potential to improve the delineation of anatomical structures and lesions by integrating clinical textual information. Existing methods generally rely on either implicit interaction between textual and visual features or auxiliary coarse-grained supervision for cross-modal alignment. However, these methods lack explicit and fine-grained constraints to ensure semantic consistency, causing a mismatch between language and the segmentation outputs. To address this issue, we propose Text-as-Illumination Retinex Network (TIRNet), a novel Retinex-inspired framework that treats text embeddings as semantic illumination for feature modulation, thereby improving semantic consistency in LMIS. TIRNet introduces two key blocks integrated at each decoder stage: (1) the Retinex-inspired Text Modulation Block (RTMB), which employs positive and negative illumination maps to enhance text-relevant foreground features and suppress background interference; and (2) the Consistent Detail Compensation Block (CDCB), which selectively recovers high-frequency details via a consistency-gated mechanism conditioned on illumination reliability. Furthermore, we propose a Multi-Scale Illumination Supervision Loss (MSIS-Loss), comprising a Region-Grounded Contrastive Loss (RGC-Loss) that enforces cross-modal similarity to be concentrated in text-relevant foreground regions and suppressed in background regions, and a Background Suppression Loss (BS-Loss) that provides pixel-level supervision for negative illumination maps, jointly ensuring a precise cross-modal alignment at each decoder stage. Extensive experiments on the MosMedData+ and QaTa-COV19 datasets demonstrate that TIRNet achieves state-of-the-art performance in LMIS. The code is available at: https://github.com/anaanaa/TIRNet.
- Abstract(参考訳): 言語誘導型医用画像分割(LMIS)は,臨床テキスト情報の統合により解剖学的構造や病変の描写を改善する大きな可能性を示している。
既存の手法は一般的に、テキストと視覚的特徴間の暗黙の相互作用や、モーダル・アライメントの補助的な粗いきめ細かな監督に依存している。
しかし、これらの手法は意味的一貫性を確保するための明示的できめ細かい制約を欠き、言語とセグメンテーション出力のミスマッチを引き起こす。
この問題を解決するために,テキスト埋め込みを特徴変調のセマンティック照明として扱う新しいRetinex-inspireed frameworkであるText-as-Illumination Retinex Network (TIRNet)を提案する。
TIRNetは, 各デコーダの段階で統合された2つの鍵ブロックを導入している。(1) テキスト関連前景の特徴の強化と背景干渉を抑制するために, 正および負の照明マップを利用するRetinex-inspired Text Modulation Block (RTMB) と,(2) 照度信頼性を条件とした整合制御機構によって高周波の詳細を選択的に回収するConsistent Detail Compensation Block (CDCB) である。
さらに,マルチスケールイルミネーション・スーパービジョン・ロス (MSIS-Loss) を提案し,RGC-Loss (Regional-Grounded Contrastive Loss) とBS-Loss (Back background Suppression Loss) は,負の照明マップに対する画素レベルの監視を提供し,各デコーダ段階で正確なクロスモーダルアライメントを確保する。
MosMedData+とQaTa-COV19データセットの大規模な実験は、TIRNetがLMISで最先端のパフォーマンスを達成することを示した。
コードは、https://github.com/anaanaa/TIRNet.comで入手できる。
関連論文リスト
- Text-guided Feature Disentanglement for Cross-modal Gait Recognition [5.766298616867406]
歩行認識は、歩行パターンに基づいて個人を識別する生体計測技術であり、長距離で非侵襲的なシナリオにおいて利点を提供する。
現実のシナリオでは、LiDARやRGBカメラのようなモダリティを感知することが多く、LiDAR-Cross-Modal Gait認識は重要で困難なタスクである。
この課題に対処するため,テキスト誘導型クロスモーダル特徴分散ネットワークTCFDNetを提案する。
SUSTech1KとFreeGaitデータセットの大規模な実験は、TCFDNetが新しい最先端の結果を達成し、提案したモジュールの有効性を検証することを実証している。
論文 参考訳(メタデータ) (2026-05-29T03:16:44Z) - Semi-MedRef: Semi-Supervised Medical Referring Image Segmentation with Cross-Modal Alignment [34.61027348260765]
半教師付き学習(SSL)は、ラベルのないデータを活用することで、この負担を軽減することができる。
医用画像と位置言語との整合性を明確に維持する教師学生向けSSLフレームワークであるSemi-MedRefを提案する。
QaTa-COV19とMosMedData+の実験は、Semi-MedRefが完全に教師付きベースラインと半教師付きベースラインの両方を一貫して上回っていることを示した。
論文 参考訳(メタデータ) (2026-05-15T08:15:45Z) - FB-CLIP: Fine-Grained Zero-Shot Anomaly Detection with Foreground-Background Disentanglement [21.260231526776128]
本稿では,FB-CLIPを提案する。FB-CLIPは,マルチストラテジーなテキスト表現と前景と背景の分離によって,異常な局所化を促進するフレームワークである。
実験により、FB-CLIPは複雑な背景から効果的に異常を識別し、ゼロショット設定下で正確な微細な異常検出と局所化を実現する。
論文 参考訳(メタデータ) (2026-03-20T03:25:56Z) - SRSR: Enhancing Semantic Accuracy in Real-World Image Super-Resolution with Spatially Re-Focused Text-Conditioning [59.013863248600046]
本稿では,空間的に再焦点を絞ったテキストコンディショニングを推論時に洗練する超解像フレームワークを提案する。
第二に,非接地画素に対するテキストの影響を選択的に回避し,幻覚を防ぐ空間的自由誘導機構を導入する。
論文 参考訳(メタデータ) (2025-10-26T05:03:55Z) - XBusNet: Text-Guided Breast Ultrasound Segmentation via Multimodal Vision-Language Learning [0.0]
XBusNetは、画像の特徴と臨床的な接地されたテキストを組み合わせた、新しいデュアルプロンプトでデュアルブランチのマルチモーダルモデルである。
5倍のクロスバリデーションを用いて,乳腺病変USG(BLU)データセット上で評価を行った。
小さな病変は最大の増加を示し、欠落した領域は少なく、急激な活性化は少ない。
論文 参考訳(メタデータ) (2025-09-08T20:45:55Z) - Constrained Prompt Enhancement for Improving Zero-Shot Generalization of Vision-Language Models [57.357091028792325]
ウェブスケールのデータに基づいて事前訓練された視覚言語モデル(VLM)は、ゼロショットの一般化を約束するが、しばしば意味的ミスアライメントに悩まされる。
視覚・テクストアライメントを改善するために,制約付きプロンプトエンハンスメント(CPE)法を提案する。
提案手法はTGSSG(Topology-Guided Synonymous Semantic Generation)とCADRS(Calegory-Agnostic Discriminative Region Selection)の2つの重要なコンポーネントから構成される。
論文 参考訳(メタデータ) (2025-08-24T15:45:22Z) - Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。
2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
論文 参考訳(メタデータ) (2025-08-15T06:43:51Z) - Data-Efficient Generalization for Zero-shot Composed Image Retrieval [67.46975191141928]
ZS-CIRは、トレーニングのために配布する三つ子を必要とせず、参照画像とテキスト記述に基づいて対象画像を検索することを目的としている。
1つの一般的なアプローチは、マッピングネットワークを用いてテキスト埋め込み空間内の擬似ワードトークンに画像埋め込みを転送するビジョン言語事前学習パラダイムである。
テキスト・サプリメント(TS)モジュールとセマンティック・セット(S-Set)という2つの新しい設計を含む,データ効率の一般化(DeG)フレームワークを提案する。
論文 参考訳(メタデータ) (2025-03-07T07:49:31Z) - Cross-Modal Bidirectional Interaction Model for Referring Remote Sensing Image Segmentation [50.433911327489554]
リモートセンシング画像セグメンテーション(RRSIS)の目標は、参照式によって識別された対象オブジェクトの画素レベルマスクを生成することである。
上記の課題に対処するため、クロスモーダル双方向相互作用モデル(CroBIM)と呼ばれる新しいRRSISフレームワークが提案されている。
RRSISの研究をさらに推し進めるために、52,472個の画像言語ラベル三重項からなる新しい大規模ベンチマークデータセットRISBenchを構築した。
論文 参考訳(メタデータ) (2024-10-11T08:28:04Z) - What Do VLMs NOTICE? A Mechanistic Interpretability Pipeline for Gaussian-Noise-free Text-Image Corruption and Evaluation [16.033361754660316]
視覚言語モデル(VLM)における可読性評価パイプライン
SVO-Probes、MIT-States、Facial Expression Recognitionデータセットに関する実験により、VLM意思決定における重要な洞察が明らかになった。
この研究は、より透明で解釈可能なマルチモーダルシステムへの道を開いた。
論文 参考訳(メタデータ) (2024-06-24T05:13:19Z) - Image-Specific Information Suppression and Implicit Local Alignment for
Text-based Person Search [61.24539128142504]
テキストベースの人物検索(TBPS)は,問合せテキストが与えられた画像ギャラリーから同一の身元で歩行者画像を検索することを目的とした課題である。
既存の手法の多くは、モダリティ間の微粒な対応をモデル化するために、明示的に生成された局所的な部分に依存している。
TBPSのためのマルチレベルアライメントネットワーク(MANet)を提案する。
論文 参考訳(メタデータ) (2022-08-30T16:14:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。