論文の概要: A Multimodal Approach Combining Structural and Cross-domain Textual Guidance for Weakly Supervised OCT Segmentation

• arxiv url: http://arxiv.org/abs/2411.12615v1
• Date: Tue, 19 Nov 2024 16:20:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:37:38.437719
• Title: A Multimodal Approach Combining Structural and Cross-domain Textual Guidance for Weakly Supervised OCT Segmentation
• Title（参考訳）: 弱教師付きOCTセグメンテーションのための構造とクロスドメインテキストガイダンスを組み合わせたマルチモーダルアプローチ
• Authors: Jiaqi Yang, Nitish Mehta, Xiaoling Hu, Chao Chen, Chia-Ling Tsai,
• Abstract要約: Weakly Supervised Semantic (WSSS) アプローチを提案する。 本手法は診断精度の向上と医用画像の効率向上に資する技術である。
• 参考スコア（独自算出の注目度）: 12.948027961485536
• License:
• Abstract: Accurate segmentation of Optical Coherence Tomography (OCT) images is crucial for diagnosing and monitoring retinal diseases. However, the labor-intensive nature of pixel-level annotation limits the scalability of supervised learning with large datasets. Weakly Supervised Semantic Segmentation (WSSS) provides a promising alternative by leveraging image-level labels. In this study, we propose a novel WSSS approach that integrates structural guidance with text-driven strategies to generate high-quality pseudo labels, significantly improving segmentation performance. In terms of visual information, our method employs two processing modules that exchange raw image features and structural features from OCT images, guiding the model to identify where lesions are likely to occur. In terms of textual information, we utilize large-scale pretrained models from cross-domain sources to implement label-informed textual guidance and synthetic descriptive integration with two textual processing modules that combine local semantic features with consistent synthetic descriptions. By fusing these visual and textual components within a multimodal framework, our approach enhances lesion localization accuracy. Experimental results on three OCT datasets demonstrate that our method achieves state-of-the-art performance, highlighting its potential to improve diagnostic accuracy and efficiency in medical imaging.
• Abstract（参考訳）: 光コヒーレンス・トモグラフィ(OCT)画像の正確なセグメンテーションは網膜疾患の診断とモニタリングに不可欠である。 しかし、ピクセルレベルのアノテーションの労働集約性は、大規模データセットによる教師あり学習のスケーラビリティを制限している。 Weakly Supervised Semantic Segmentation (WSSS)は、イメージレベルのラベルを活用することで、有望な代替手段を提供する。 本研究では,高品質な擬似ラベルを生成するためのテキスト駆動型戦略と構造ガイダンスを統合し,セグメンテーション性能を大幅に向上させる新しいWSSS手法を提案する。 視覚情報に関しては,OCT画像から生画像の特徴と構造的特徴を交換する2つの処理モジュールを用いて,病変の発生箇所を特定する。 テキスト情報の観点からは,局所的な意味的特徴と一貫した合成記述を結合した2つのテキスト処理モジュールとラベルインフォームドテキストガイダンスと合成記述的統合を実装するために,クロスドメインソースからの大規模事前学習モデルを利用する。 マルチモーダルフレームワーク内でこれらの視覚的およびテキスト的コンポーネントを融合させることで,病変の局所化精度を高めることができる。 OCTデータセットの3つの実験結果から,本手法は診断精度と医用画像の効率を向上する可能性が示された。

関連論文リスト

• Enhancing Label-efficient Medical Image Segmentation with Text-guided Diffusion Models [5.865983529245793]
  TextDiffは、安価な医療用テキストアノテーションを通じて意味表現を改善する。 その結果,TextDiffは,少数のトレーニングサンプルのみで,最先端のマルチモーダルセグメンテーション手法よりもはるかに優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-07T10:21:08Z)
• Language Guided Domain Generalized Medical Image Segmentation [68.93124785575739]
  単一ソースドメインの一般化は、より信頼性が高く一貫性のあるイメージセグメンテーションを現実の臨床環境にわたって約束する。 本稿では,テキストエンコーダ機能によって案内されるコントラスト学習機構を組み込むことで,テキスト情報を明確に活用する手法を提案する。 文献における既存手法に対して,本手法は良好な性能を発揮する。
  論文  参考訳（メタデータ） (2024-04-01T17:48:15Z)
• Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
  医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。 半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
  論文  参考訳（メタデータ） (2023-12-26T12:56:31Z)
• Self-supervised Semantic Segmentation: Consistency over Transformation [3.485615723221064]
  Inception Large Kernel Attention (I-LKA) モジュールをベースとしたロバストなフレームワークを統合した新しい自己教師型アルゴリズム textbfS$3$-Net を提案する。 我々は、変形可能な畳み込みを積分成分として利用し、優れた物体境界定義のための歪み変形を効果的に捕捉し、デライン化する。 皮膚病変および肺臓器の分節タスクに関する実験結果から,SOTA法と比較して,本手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-08-31T21:28:46Z)
• Cross-level Contrastive Learning and Consistency Constraint for Semi-supervised Medical Image Segmentation [46.678279106837294]
  半教師型医用画像セグメンテーションにおける局所特徴の表現能力を高めるためのクロスレベルコンストラシティブ学習手法を提案する。 クロスレベルなコントラスト学習と一貫性制約の助けを借りて、非ラベル付きデータを効果的に探索してセグメンテーション性能を向上させることができる。
  論文  参考訳（メタデータ） (2022-02-08T15:12:11Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)
• Pathological Retinal Region Segmentation From OCT Images Using Geometric Relation Based Augmentation [84.7571086566595]
  本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。 提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
  論文  参考訳（メタデータ） (2020-03-31T11:50:43Z)
• Unsupervised Bidirectional Cross-Modality Adaptation via Deeply Synergistic Image and Feature Alignment for Medical Image Segmentation [73.84166499988443]
  我々は、Synergistic Image and Feature Alignment (SIFA)と名付けられた新しい教師なしドメイン適応フレームワークを提案する。 提案するSIFAは、画像と特徴の両方の観点から、ドメインの相乗的アライメントを行う。 2つの異なるタスクに対する実験結果から,SIFA法は未ラベル対象画像のセグメンテーション性能を向上させるのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-02-06T13:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。