Fugu-MT 論文翻訳(概要): TG-LMM: Enhancing Medical Image Segmentation Accuracy through Text-Guided Large Multi-Modal Model

論文の概要: TG-LMM: Enhancing Medical Image Segmentation Accuracy through Text-Guided Large Multi-Modal Model

arxiv url: http://arxiv.org/abs/2409.03412v1
Date: Thu, 5 Sep 2024 11:01:48 GMT
ステータス: 処理完了
システム内更新日: 2024-09-06 21:00:20.791362
Title: TG-LMM: Enhancing Medical Image Segmentation Accuracy through Text-Guided Large Multi-Modal Model
Title（参考訳）: TG-LMM:テキストガイド型大規模マルチモーダルモデルによる医用画像分割精度の向上
Authors: Yihao Zhao, Enhao Zhong, Cuiyun Yuan, Yang Li, Man Zhao, Chunxia Li, Jun Hu, Chenbin Liu,
Abstract要約: TG-LMM(Text-Guided Large Multi-Modal Model)は、臓器のテキスト記述を活用して、医用画像のセグメンテーション精度を高める新しいアプローチである。提案手法は,MedSAM,SAM,nnUnetなどの既存手法と比較して優れた性能を示した。
参考スコア（独自算出の注目度）: 4.705494927820468
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose TG-LMM (Text-Guided Large Multi-Modal Model), a novel approach that leverages textual descriptions of organs to enhance segmentation accuracy in medical images. Existing medical image segmentation methods face several challenges: current medical automatic segmentation models do not effectively utilize prior knowledge, such as descriptions of organ locations; previous text-visual models focus on identifying the target rather than improving the segmentation accuracy; prior models attempt to use prior knowledge to enhance accuracy but do not incorporate pre-trained models. To address these issues, TG-LMM integrates prior knowledge, specifically expert descriptions of the spatial locations of organs, into the segmentation process. Our model utilizes pre-trained image and text encoders to reduce the number of training parameters and accelerate the training process. Additionally, we designed a comprehensive image-text information fusion structure to ensure thorough integration of the two modalities of data. We evaluated TG-LMM on three authoritative medical image datasets, encompassing the segmentation of various parts of the human body. Our method demonstrated superior performance compared to existing approaches, such as MedSAM, SAM and nnUnet.
Abstract（参考訳）: TG-LMM(Text-Guided Large Multi-Modal Model)は,臓器のテキスト記述を利用して医療画像のセグメンテーション精度を高める手法である。現在の医療自動セグメンテーションモデルは、臓器の位置の記述など、事前知識を効果的に活用していない; 以前のテキスト視覚モデルは、セグメンテーションの精度を改善するのではなく、ターゲットを特定することに焦点を当てている; 先行モデルは、精度を高めるために事前知識を使用しようとするが、事前訓練されたモデルを組み込まない。これらの問題に対処するため、TG-LMMは事前の知識、特に臓器の空間的位置の専門的な記述をセグメンテーションプロセスに統合する。本モデルでは,事前学習画像とテキストエンコーダを用いて,トレーニングパラメータ数を削減し,トレーニングプロセスの高速化を図る。さらに,2つのデータモダリティの完全統合を保証するため,包括的画像テキスト情報融合構造を設計した。我々はTG-LMMを3つの信頼できる医用画像データセットで評価し、人体の様々な部分のセグメンテーションを包含した。提案手法は,MedSAM,SAM,nnUnetなどの既存手法と比較して優れた性能を示した。

関連論文リスト

MIST: A Simple and Scalable End-To-End 3D Medical Imaging Segmentation Framework [1.4043931310479378]
医用イメージングツールキット(MIST)は、深層学習に基づく医用イメージングセグメンテーション手法の一貫性のあるトレーニング、テスト、評価を容易にするように設計されている。 MISTはデータ分析、前処理、評価パイプラインを標準化し、複数のアーキテクチャと損失関数を収容する。
論文参考訳（メタデータ） (2024-07-31T05:17:31Z)
Language Guided Domain Generalized Medical Image Segmentation [68.93124785575739]
単一ソースドメインの一般化は、より信頼性が高く一貫性のあるイメージセグメンテーションを現実の臨床環境にわたって約束する。本稿では,テキストエンコーダ機能によって案内されるコントラスト学習機構を組み込むことで,テキスト情報を明確に活用する手法を提案する。文献における既存手法に対して,本手法は良好な性能を発揮する。
論文参考訳（メタデータ） (2024-04-01T17:48:15Z)
MedCLIP-SAM: Bridging Text and Image Towards Universal Medical Image Segmentation [2.2585213273821716]
本稿では,CLIPモデルとSAMモデルを組み合わせて臨床スキャンのセグメンテーションを生成する新しいフレームワーク MedCLIP-SAM を提案する。 3つの多様なセグメンテーションタスクと医用画像モダリティを広範囲にテストすることにより、提案手法は優れた精度を示した。
論文参考訳（メタデータ） (2024-03-29T15:59:11Z)
Promise:Prompt-driven 3D Medical Image Segmentation Using Pretrained Image Foundation Models [13.08275555017179]
単点プロンプトのみを用いたプロンプト駆動型3次元医用画像分割モデルProMISeを提案する。今回,大腸癌と膵腫瘍の2つの領域に分布する2つのパブリックデータセットについて検討した。
論文参考訳（メタデータ） (2023-10-30T16:49:03Z)
MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文参考訳（メタデータ） (2023-09-16T02:41:53Z)
Self-Sampling Meta SAM: Enhancing Few-shot Medical Image Segmentation with Meta-Learning [17.386754270460273]
数ショットの医用画像分割のための自己サンプリングメタSAMフレームワークを提案する。提案手法は,数発のセグメンテーションにおいて最先端の手法よりも大幅に向上する。そこで本研究では,対話型画像分割における高速なオンライン適応手法を提案する。
論文参考訳（メタデータ） (2023-08-31T05:20:48Z)
Multiscale Progressive Text Prompt Network for Medical Image Segmentation [10.121625177837931]
本稿では,先行知識としてプログレッシブテキストプロンプトを用いてセグメンテーションプロセスを導くことを提案する。このモデルでは,データアノテーションのコストを低くして高品質な結果が得られる。
論文参考訳（メタデータ） (2023-06-30T23:37:16Z)
LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文参考訳（メタデータ） (2023-06-20T22:21:34Z)
Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文参考訳（メタデータ） (2023-06-15T17:55:05Z)
Customizing General-Purpose Foundation Models for Medical Report Generation [64.31265734687182]
ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
論文参考訳（メタデータ） (2023-06-09T03:02:36Z)
Towards Cross-modality Medical Image Segmentation with Online Mutual Knowledge Distillation [71.89867233426597]
本稿では,あるモダリティから学習した事前知識を活用し,別のモダリティにおけるセグメンテーション性能を向上させることを目的とする。モーダル共有知識を徹底的に活用する新しい相互知識蒸留法を提案する。 MMWHS 2017, MMWHS 2017 を用いた多クラス心筋セグメンテーション実験の結果, CT セグメンテーションに大きな改善が得られた。
論文参考訳（メタデータ） (2020-10-04T10:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。