論文の概要: A Text-Image Fusion Method with Data Augmentation Capabilities for Referring Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2510.12482v1
• Date: Tue, 14 Oct 2025 13:18:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.323488
• Title: A Text-Image Fusion Method with Data Augmentation Capabilities for Referring Medical Image Segmentation
• Title（参考訳）: 医用画像セグメント参照のためのデータ拡張機能付きテキスト画像融合法
• Authors: Shurong Chai, Rahul Kumar JAIN, Rui Xu, Shaocong Mo, Ruibo Hou, Shiyu Teng, Jiaqing Liu, Lanfen Lin, Yen-Wei Chen,
• Abstract要約: 最近のマルチモーダル学習は、参照またはテキスト誘導画像セグメンテーションとして知られるセグメンテーションのためのテキストとイメージを統合する。 本稿では,拡張前のテキストと視覚的特徴を組み合わせた早期融合フレームワークを提案する。 本手法は,3つの医用画像タスクと4つのセグメンテーション・フレームワークを用いて評価し,最先端の結果を得た。
• 参考スコア（独自算出の注目度）: 17.625772619688913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning relies heavily on data augmentation to mitigate limited data, especially in medical imaging. Recent multimodal learning integrates text and images for segmentation, known as referring or text-guided image segmentation. However, common augmentations like rotation and flipping disrupt spatial alignment between image and text, weakening performance. To address this, we propose an early fusion framework that combines text and visual features before augmentation, preserving spatial consistency. We also design a lightweight generator that projects text embeddings into visual space, bridging semantic gaps. Visualization of generated pseudo-images shows accurate region localization. Our method is evaluated on three medical imaging tasks and four segmentation frameworks, achieving state-of-the-art results. Code is publicly available on GitHub: https://github.com/11yxk/MedSeg_EarlyFusion.
• Abstract（参考訳）: 深層学習は、特に医用画像において、限られたデータを緩和するためにデータ拡張に大きく依存する。 最近のマルチモーダル学習は、参照またはテキスト誘導画像セグメンテーションとして知られるセグメンテーションのためのテキストとイメージを統合する。 しかし、回転や反転などの一般的な拡張は、画像とテキスト間の空間的アライメントを妨害し、性能を低下させる。 そこで本稿では,拡張前のテキストと視覚的特徴を組み合わせた早期融合フレームワークを提案する。 また、テキスト埋め込みを視覚空間に投影し、意味的ギャップを埋める軽量なジェネレータを設計する。 生成した擬似画像の可視化は、正確な領域ローカライゼーションを示す。 本手法は,3つの医用画像タスクと4つのセグメンテーション・フレームワークを用いて評価し,最先端の結果を得た。 GitHubでは、https://github.com/11yxk/MedSeg_EarlyFusion.comでコードが公開されている。

関連論文リスト

• Text-driven Multiplanar Visual Interaction for Semi-supervised Medical Image Segmentation [48.76848912120607]
  半教師付き医用画像セグメンテーションは,高コストなデータアノテーションを緩和するための重要な手法である。 半教師型医用画像セグメンテーションのための新しいテキスト駆動型多面的視覚インタラクションフレームワーク(Termed Text-SemiSeg)を提案する。 我々のフレームワークは3つの主要なモジュールで構成されている。テキスト強化多平面表現(TMR)、カテゴリー認識セマンティックアライメント(CSA)、動的認知強化(DCA)である。
  論文  参考訳（メタデータ） (2025-07-16T16:29:30Z)
• SimTxtSeg: Weakly-Supervised Medical Image Segmentation with Simple Text Cues [11.856041847833666]
  我々は、単純なテキストキューを利用して高品質な擬似ラベルを生成する新しいフレームワーク、SimTxtSegを提案する。 大腸ポリープ・セグメンテーションとMRI脳腫瘍セグメンテーションという2つの医療画像セグメンテーションの枠組みについて検討した。
  論文  参考訳（メタデータ） (2024-06-27T17:46:13Z)
• Image Fusion via Vision-Language Model [91.36809431547128]
  VIsion-Language Model (FILM)による画像融合という新しい融合パラダイムを導入する。 FILMは画像からセマンティックプロンプトを生成し、それらをChatGPTに入力し、包括的なテキスト記述を行う。 これらの記述はテキスト領域内で融合され、視覚情報融合を導く。 FILMは、赤外線可視、医療、マルチ露光、マルチフォーカス画像融合の4つの画像融合タスクにおいて有望な結果を示している。
  論文  参考訳（メタデータ） (2024-02-03T18:36:39Z)
• Leveraging Open-Vocabulary Diffusion to Camouflaged Instance Segmentation [59.78520153338878]
  テキスト・ツー・イメージ拡散技術は、テキスト記述から高品質な画像を生成する素晴らしい能力を示している。 そこで本研究では,オープン語彙を応用した最先端拡散モデルを用いて,多スケールのテキスト・視覚的特徴を学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-29T07:59:07Z)
• Zero-shot spatial layout conditioning for text-to-image diffusion models [52.24744018240424]
  大規模テキスト・画像拡散モデルでは、生成画像モデリングにおける技術の現状が大幅に改善されている。 画像キャンバスのセグメントに関連付けられたテキストからの画像生成を考察し、直感的な自然言語インタフェースと生成されたコンテンツの正確な空間制御を組み合わせた。 ZestGuideは,事前学習したテキスト・画像拡散モデルにプラグイン可能なゼロショットセグメンテーション誘導手法である。
  論文  参考訳（メタデータ） (2023-06-23T19:24:48Z)
• Scene Graph Based Fusion Network For Image-Text Retrieval [2.962083552798791]
  画像テキスト検索における重要な課題は、画像とテキストの正確な対応を学習する方法である。 そこで我々は,Scene GraphベースのFusion Network(SGFN)を提案する。 我々のSGFNは、非常に少数のSOTA画像テキスト検索方法よりも優れている。
  論文  参考訳（メタデータ） (2023-03-20T13:22:56Z)
• Integrating Visuospatial, Linguistic and Commonsense Structure into Story Visualization [81.26077816854449]
  まず、構造的入力を符号化するための選挙区解析木の利用について検討する。 第二に、構造化されたインプットをコモンセンス情報で強化し、この外部知識が視覚的ストーリーの生成に与える影響について検討する。 第3に、境界ボックスと高密度キャプションによって視覚構造を組み込んで、生成された画像の文字やオブジェクトに関するフィードバックを提供する。
  論文  参考訳（メタデータ） (2021-10-21T00:16:02Z)
• Semantic Segmentation with Generative Models: Semi-Supervised Learning and Strong Out-of-Domain Generalization [112.68171734288237]
  本論文では,画像とラベルの再生モデルを用いた識別画素レベルのタスクのための新しいフレームワークを提案する。 我々は,共同画像ラベルの分布を捕捉し,未ラベル画像の大規模な集合を用いて効率的に訓練する生成的対向ネットワークを学習する。 ドメイン内性能をいくつかのベースラインと比較し,ドメイン外一般化を極端に示す最初の例である。
  論文  参考訳（メタデータ） (2021-04-12T21:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。