論文の概要: CLIP-TNseg: A Multi-Modal Hybrid Framework for Thyroid Nodule Segmentation in Ultrasound Images

• arxiv url: http://arxiv.org/abs/2412.05530v1
• Date: Sat, 07 Dec 2024 04:10:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:55:26.962897
• Title: CLIP-TNseg: A Multi-Modal Hybrid Framework for Thyroid Nodule Segmentation in Ultrasound Images
• Title（参考訳）: CLIP-TNseg:超音波画像における甲状腺結節分割のためのマルチモーダルハイブリッドフレームワーク
• Authors: Xinjie Sun, Boxiong Wei, Yalong Jiang, Liquan Mao, Qi Zhao,
• Abstract要約: 超音波画像における甲状腺結節分節は正確な診断と治療計画に不可欠である。 既存の手法は、セグメンテーションの精度、解釈可能性、一般化の課題に直面しており、それらの性能を妨げている。 この記事では、ニューラルネットワークアーキテクチャにマルチモーダルな大モデルを統合することにより、これらの問題に対処する新しいフレームワークであるCLIP-TNsegを提案する。
• 参考スコア（独自算出の注目度）: 10.926065365983886
• License:
• Abstract: Thyroid nodule segmentation in ultrasound images is crucial for accurate diagnosis and treatment planning. However, existing methods face challenges in segmentation accuracy, interpretability, and generalization, which hinder their performance. This letter proposes a novel framework, CLIP-TNseg, to address these issues by integrating a multimodal large model with a neural network architecture. CLIP-TNseg consists of two main branches: the Coarse-grained Branch, which extracts high-level semantic features from a frozen CLIP model, and the Fine-grained Branch, which captures fine-grained features using U-Net style residual blocks. These features are fused and processed by the prediction head to generate precise segmentation maps. CLIP-TNseg leverages the Coarse-grained Branch to enhance semantic understanding through textual and high-level visual features, while the Fine-grained Branch refines spatial details, enabling precise and robust segmentation. Extensive experiments on public and our newly collected datasets demonstrate its competitive performance. Our code and the original dataset are available at https://github.com/jayxjsun/CLIP-TNseg.
• Abstract（参考訳）: 超音波画像における甲状腺結節分節は正確な診断と治療計画に不可欠である。 しかし、既存の手法では、セグメンテーションの精度、解釈可能性、一般化の課題に直面しており、それによって性能が損なわれている。 この記事では、ニューラルネットワークアーキテクチャにマルチモーダルな大モデルを統合することにより、これらの問題に対処する新しいフレームワークであるCLIP-TNsegを提案する。 CLIP-TNsegは、凍結したCLIPモデルから高レベルのセマンティック機能を抽出する粗粒ブランチと、U-Netスタイルの残留ブロックを使用してきめ細かい機能をキャプチャする細粒ブランチの2つの主要ブランチで構成されている。 これらの特徴は予測ヘッドによって融合処理され、正確なセグメンテーションマップを生成する。 CLIP-TNsegは、粗粒のブランチを活用して、テキストおよび高レベルの視覚的特徴を通じて意味的理解を強化する一方で、きめ細かいブランチは空間的詳細を洗練し、正確で堅牢なセグメンテーションを可能にする。 公開および新たに収集したデータセットに関する大規模な実験により、その競争性能が実証された。 私たちのコードとオリジナルのデータセットはhttps://github.com/jayxjsun/CLIP-TNseg.comで公開されています。

関連論文リスト

• MedCLIP-SAMv2: Towards Universal Text-Driven Medical Image Segmentation [2.2585213273821716]
  MedCLIP-SAMv2はCLIPとSAMモデルを統合して臨床スキャンのセグメンテーションを行う新しいフレームワークである。 提案手法は,DHN-NCE(Decoupled Hard Negative Noise Contrastive Estimation)によるBiomedCLIPモデルの微調整を含む。 また,ゼロショットセグメンテーションラベルを弱教師付きパラダイム内で使用することにより,セグメンテーション品質をさらに向上する。
  論文  参考訳（メタデータ） (2024-09-28T23:10:37Z)
• MedCLIP-SAM: Bridging Text and Image Towards Universal Medical Image Segmentation [2.2585213273821716]
  本稿では,CLIPモデルとSAMモデルを組み合わせて臨床スキャンのセグメンテーションを生成する新しいフレームワーク MedCLIP-SAM を提案する。 3つの多様なセグメンテーションタスクと医用画像モダリティを広範囲にテストすることにより、提案手法は優れた精度を示した。
  論文  参考訳（メタデータ） (2024-03-29T15:59:11Z)
• Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
  医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。 半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
  論文  参考訳（メタデータ） (2023-12-26T12:56:31Z)
• A Lightweight Clustering Framework for Unsupervised Semantic Segmentation [28.907274978550493]
  教師なしセマンティックセグメンテーションは、注釈付きデータを用いることなく、画像の各ピクセルを対応するクラスに分類することを目的としている。 教師なしセマンティックセグメンテーションのための軽量クラスタリングフレームワークを提案する。 本フレームワークは,PASCAL VOCおよびMS COCOデータセットの最先端結果を実現する。
  論文  参考訳（メタデータ） (2023-11-30T15:33:42Z)
• Implicit Anatomical Rendering for Medical Image Segmentation with Stochastic Experts [11.007092387379078]
  医用画像セグメンテーションの学習を支援するために,解剖学的レベルで設計された汎用的な暗黙的ニューラルネットワークレンダリングフレームワークであるMORSEを提案する。 医用画像のセグメンテーションをエンドツーエンドのレンダリング問題として定式化する。 実験の結果,MORSEは異なる医療セグメントのバックボーンでうまく機能することが示された。
  論文  参考訳（メタデータ） (2023-04-06T16:44:03Z)
• Reliable Joint Segmentation of Retinal Edema Lesions in OCT Images [55.83984261827332]
  本稿では,信頼性の高いマルチスケールウェーブレットエンハンストランスネットワークを提案する。 本研究では,ウェーブレット型特徴抽出器ネットワークとマルチスケール変圧器モジュールを統合したセグメンテーションバックボーンを開発した。 提案手法は,他の最先端セグメンテーション手法と比較して信頼性の高いセグメンテーション精度を実現する。
  論文  参考訳（メタデータ） (2022-12-01T07:32:56Z)
• BCS-Net: Boundary, Context and Semantic for Automatic COVID-19 Lung Infection Segmentation from CT Images [83.82141604007899]
  BCS-Netは、CT画像から自動的に新型コロナウイルスの肺感染症を分離するための新しいネットワークである。 BCS-Netはエンコーダ-デコーダアーキテクチャに従っており、多くの設計はデコーダのステージに焦点を当てている。 BCSRブロックでは、アテンション誘導グローバルコンテキスト(AGGC)モジュールがデコーダの最も価値のあるエンコーダ機能を学ぶように設計されている。
  論文  参考訳（メタデータ） (2022-07-17T08:54:07Z)
• MISSU: 3D Medical Image Segmentation via Self-distilling TransUNet [55.16833099336073]
  医用画像セグメンテーションのためのトランスフォーマーベースUNetを提案する。 グローバルな意味情報と局所的な空間的詳細特徴を同時に学習する。 MISSUは従来の最先端手法よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2022-06-02T07:38:53Z)
• Two-Stream Graph Convolutional Network for Intra-oral Scanner Image Segmentation [133.02190910009384]
  本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。 TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-19T10:41:09Z)
• A Simple Baseline for Zero-shot Semantic Segmentation with Pre-trained Vision-language Model [61.58071099082296]
  オブジェクト検出やセマンティックセグメンテーションといった、より広範な視覚問題に対して、ゼロショット認識をどのようにうまく機能させるかは定かではない。 本稿では,既訓練の視覚言語モデルであるCLIPを用いて,ゼロショットセマンティックセマンティックセマンティックセマンティクスを構築することを目的とした。 実験結果から, この単純なフレームワークは, 従来の最先端をはるかに上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-12-29T18:56:18Z)
• Boundary-aware Context Neural Network for Medical Image Segmentation [15.585851505721433]
  医用画像のセグメンテーションは、さらなる臨床分析と疾患診断のための信頼性の高い基盤を提供することができる。 既存のCNNベースのほとんどの手法は、正確なオブジェクト境界のない不満足なセグメンテーションマスクを生成する。 本稿では,2次元医用画像分割のための境界認識コンテキストニューラルネットワーク(BA-Net)を定式化する。
  論文  参考訳（メタデータ） (2020-05-03T02:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。