論文の概要: DeepUniUSTransformer: Towards A Universal UltraSound Model with Prompted Guidance
- arxiv url: http://arxiv.org/abs/2406.01154v1
- Date: Mon, 3 Jun 2024 09:49:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 01:38:29.339455
- Title: DeepUniUSTransformer: Towards A Universal UltraSound Model with Prompted Guidance
- Title（参考訳）: DeepUniUSTransformer: ガイド付きUltraSoundモデルに向けて
- Authors: Zehui Lin, Zhuoneng Zhang, Xindi Hu, Zhifan Gao, Xin Yang, Yue Sun, Dong Ni, Tao Tan,
- Abstract要約: 本稿では,DeepUniUSTransformerという,超音波のための新しいユニバーサルフレームワークを提案する。
このモデルの普遍性は、様々な側面にわたる汎用性から導かれる。
我々は、この情報をプロンプトとして組み込んだ新しいモジュールを導入し、モデルの学習プロセスにシームレスに組み込む。
- 参考スコア（独自算出の注目度）: 19.85119434049726
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ultrasound is a widely used imaging modality in clinical practice due to its low cost, portability, and safety. Current research in general AI for healthcare focuses on large language models and general segmentation models, with insufficient attention to solutions addressing both disease prediction and tissue segmentation. In this study, we propose a novel universal framework for ultrasound, namely DeepUniUSTransformer, which is a promptable model accommodating multiple clinical task. The universality of this model is derived from its versatility across various aspects. It proficiently manages any ultrasound nature, any anatomical position, any input type and excelling not only in segmentation tasks but also in computer-aided diagnosis tasks. We introduce a novel module that incorporates this information as a prompt and seamlessly embedding it within the model's learning process. To train and validate our proposed model, we curated a comprehensive ultrasound dataset from publicly accessible sources, encompassing up to 7 distinct anatomical positions with over 9.7K annotations. Experimental results demonstrate that our model surpasses both a model trained on a single dataset and an ablated version of the network lacking prompt guidance. We will continuously expand the dataset and optimize the task specific prompting mechanism towards the universality in medical ultrasound. Model weights, datasets, and code will be open source to the public.
- Abstract（参考訳）: 超音波は、低コスト、可搬性、安全性のために臨床実践において広く用いられている画像モダリティである。
一般医療向けAIにおける現在の研究は、大きな言語モデルと一般的なセグメンテーションモデルに焦点を当てており、疾患予測と組織セグメンテーションの両方に対処するソリューションにはあまり注意を払っていない。
本研究では,複数の臨床的タスクを伴いやすいモデルであるDeepUniUSTransformerという,超音波のための新しいユニバーサルフレームワークを提案する。
このモデルの普遍性は、様々な側面にわたる汎用性から導かれる。
超音波の性質、解剖学的位置、あらゆる入力タイプを巧みに管理し、セグメンテーションタスクだけでなく、コンピュータ支援の診断タスクでも優れている。
我々は、この情報をプロンプトとして組み込んだ新しいモジュールを導入し、モデルの学習プロセスにシームレスに組み込む。
提案したモデルをトレーニングし,検証するために,9.7K以上のアノテーションで最大7つの解剖学的位置を含む,公開ソースからの包括的超音波データセットをキュレートした。
実験結果から,本モデルが1つのデータセットでトレーニングされたモデルと,即時ガイダンスを欠いたネットワークの短縮バージョンの両方を超越していることが判明した。
我々は、継続的にデータセットを拡張し、医療用超音波の普遍性に向けてタスク固有のプロンプト機構を最適化する。
モデルウェイト、データセット、コードは、オープンソースとして公開される。
関連論文リスト
- UNICORN: A Deep Learning Model for Integrating Multi-Stain Data in Histopathology [2.9389205138207277]
UNICORNは動脈硬化の重症度予測のための多段階組織学を処理できるマルチモーダルトランスフォーマーである。
このアーキテクチャは、2段階のエンドツーエンドのトレーニング可能なモデルと、トランスフォーマーの自己保持ブロックを利用する特殊なモジュールから構成される。
UNICORNは0.67の分類精度を達成し、他の最先端モデルを上回った。
論文 参考訳（メタデータ） (2024-09-26T12:13:52Z) - A novel open-source ultrasound dataset with deep learning benchmarks for
spinal cord injury localization and anatomical segmentation [1.02101998415327]
ブタ脊髄の矢状切片からなる10,223モード(Bモード)画像の超音波データセットを提案する。
損傷部位をローカライズするために,いくつかの最先端オブジェクト検出アルゴリズムの性能指標をベンチマークした。
ヒトの超音波脊髄画像におけるセグメンテーションモデルのゼロショット一般化能力を評価する。
論文 参考訳（メタデータ） (2024-09-24T20:22:59Z) - Towards a Benchmark for Colorectal Cancer Segmentation in Endorectal Ultrasound Videos: Dataset and Model Development [59.74920439478643]
本稿では,多様なERUSシナリオをカバーする最初のベンチマークデータセットを収集し,注釈付けする。
ERUS-10Kデータセットは77の動画と10,000の高解像度アノテートフレームで構成されています。
本稿では,ASTR (Adaptive Sparse-context TRansformer) という大腸癌セグメンテーションのベンチマークモデルを提案する。
論文 参考訳（メタデータ） (2024-08-19T15:04:42Z) - Universal and Extensible Language-Vision Models for Organ Segmentation and Tumor Detection from Abdominal Computed Tomography [50.08496922659307]
本稿では、単一のモデルであるUniversal Modelが複数の公開データセットに対処し、新しいクラスに適応することを可能にするユニバーサルフレームワークを提案する。
まず,大規模言語モデルからの言語埋め込みを利用した新しい言語駆動パラメータ生成手法を提案する。
第二に、従来の出力層は軽量でクラス固有のヘッドに置き換えられ、ユニバーサルモデルでは25の臓器と6種類の腫瘍を同時に分割することができる。
論文 参考訳（メタデータ） (2024-05-28T16:55:15Z) - WATUNet: A Deep Neural Network for Segmentation of Volumetric Sweep
Imaging Ultrasound [1.2903292694072621]
ボリューム・スイープ・イメージング(VSI)は、訓練を受けていないオペレーターが高品質な超音波画像をキャプチャできる革新的な手法である。
本稿ではWavelet_Attention_UNet(WATUNet)と呼ばれる新しいセグメンテーションモデルを提案する。
このモデルでは、簡単な接続ではなく、ウェーブレットゲート(WG)とアテンションゲート(AG)をエンコーダとデコーダの間に組み込んで、上記の制限を克服する。
論文 参考訳（メタデータ） (2023-11-17T20:32:37Z) - Detecting Speech Abnormalities with a Perceiver-based Sequence
Classifier that Leverages a Universal Speech Model [4.503292461488901]
いくつかの神経疾患の音声反射異常を検出するPerceiver-based sequenceを提案する。
このシーケンスとUniversal Speech Model (USM)を組み合わせ、1200万時間に及ぶ多様な音声録音をトレーニング(教師なし)する。
我々のモデルは標準変圧器 (80.9%) および知覚器 (81.8%) モデルより優れ、平均精度は83.1%である。
論文 参考訳（メタデータ） (2023-10-16T21:07:12Z) - Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2023-06-15T17:55:05Z) - CLIP-Driven Universal Model for Organ Segmentation and Tumor Detection [36.08551407926805]
本稿では,Contrastive Language-Image Pre-trainingから学習したテキストをセグメンテーションモデルに組み込んだCLIP駆動ユニバーサルモデルを提案する。
提案モデルは14のデータセットから作成され、合計3,410個のCTスキャンを使用してトレーニングを行い、さらに3つの追加データセットから6,162個の外部CTスキャンで評価する。
論文 参考訳（メタデータ） (2023-01-02T18:07:44Z) - Factored Attention and Embedding for Unstructured-view Topic-related
Ultrasound Report Generation [70.7778938191405]
本研究では,非構造的トピック関連超音波レポート生成のための新しい因子的注意・埋め込みモデル(FAE-Gen)を提案する。
提案したFAE-Genは主に2つのモジュール、すなわちビュー誘導因子の注意とトピック指向因子の埋め込みから構成されており、異なるビューで均質および不均一な形態的特徴を捉えている。
論文 参考訳（メタデータ） (2022-03-12T15:24:03Z) - G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for
Biomarker Identification and Disease Classification [49.53651166356737]
診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。
2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
論文 参考訳（メタデータ） (2021-01-27T19:28:04Z) - Weakly supervised multiple instance learning histopathological tumor
segmentation [51.085268272912415]
スライド画像全体のセグメント化のための弱教師付きフレームワークを提案する。
トレーニングモデルに複数のインスタンス学習スキームを利用する。
提案するフレームワークは,The Cancer Genome AtlasとPatchCamelyonデータセットのマルチロケーションとマルチ中心公開データに基づいて評価されている。
論文 参考訳（メタデータ） (2020-04-10T13:12:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。