論文の概要: DeepUniUSTransformer: Towards A Universal UltraSound Model with Prompted Guidance

• arxiv url: http://arxiv.org/abs/2406.01154v1
• Date: Mon, 3 Jun 2024 09:49:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 01:38:29.339455
• Title: DeepUniUSTransformer: Towards A Universal UltraSound Model with Prompted Guidance
• Title（参考訳）: DeepUniUSTransformer: ガイド付きUltraSoundモデルに向けて
• Authors: Zehui Lin, Zhuoneng Zhang, Xindi Hu, Zhifan Gao, Xin Yang, Yue Sun, Dong Ni, Tao Tan,
• Abstract要約: 本稿では,DeepUniUSTransformerという,超音波のための新しいユニバーサルフレームワークを提案する。 このモデルの普遍性は、様々な側面にわたる汎用性から導かれる。 我々は、この情報をプロンプトとして組み込んだ新しいモジュールを導入し、モデルの学習プロセスにシームレスに組み込む。
• 参考スコア（独自算出の注目度）: 19.85119434049726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ultrasound is a widely used imaging modality in clinical practice due to its low cost, portability, and safety. Current research in general AI for healthcare focuses on large language models and general segmentation models, with insufficient attention to solutions addressing both disease prediction and tissue segmentation. In this study, we propose a novel universal framework for ultrasound, namely DeepUniUSTransformer, which is a promptable model accommodating multiple clinical task. The universality of this model is derived from its versatility across various aspects. It proficiently manages any ultrasound nature, any anatomical position, any input type and excelling not only in segmentation tasks but also in computer-aided diagnosis tasks. We introduce a novel module that incorporates this information as a prompt and seamlessly embedding it within the model's learning process. To train and validate our proposed model, we curated a comprehensive ultrasound dataset from publicly accessible sources, encompassing up to 7 distinct anatomical positions with over 9.7K annotations. Experimental results demonstrate that our model surpasses both a model trained on a single dataset and an ablated version of the network lacking prompt guidance. We will continuously expand the dataset and optimize the task specific prompting mechanism towards the universality in medical ultrasound. Model weights, datasets, and code will be open source to the public.
• Abstract（参考訳）: 超音波は、低コスト、可搬性、安全性のために臨床実践において広く用いられている画像モダリティである。 一般医療向けAIにおける現在の研究は、大きな言語モデルと一般的なセグメンテーションモデルに焦点を当てており、疾患予測と組織セグメンテーションの両方に対処するソリューションにはあまり注意を払っていない。 本研究では,複数の臨床的タスクを伴いやすいモデルであるDeepUniUSTransformerという,超音波のための新しいユニバーサルフレームワークを提案する。 このモデルの普遍性は、様々な側面にわたる汎用性から導かれる。 超音波の性質、解剖学的位置、あらゆる入力タイプを巧みに管理し、セグメンテーションタスクだけでなく、コンピュータ支援の診断タスクでも優れている。 我々は、この情報をプロンプトとして組み込んだ新しいモジュールを導入し、モデルの学習プロセスにシームレスに組み込む。 提案したモデルをトレーニングし,検証するために,9.7K以上のアノテーションで最大7つの解剖学的位置を含む,公開ソースからの包括的超音波データセットをキュレートした。 実験結果から,本モデルが1つのデータセットでトレーニングされたモデルと,即時ガイダンスを欠いたネットワークの短縮バージョンの両方を超越していることが判明した。 我々は、継続的にデータセットを拡張し、医療用超音波の普遍性に向けてタスク固有のプロンプト機構を最適化する。 モデルウェイト、データセット、コードは、オープンソースとして公開される。

関連論文リスト

• Universal and Extensible Language-Vision Models for Organ Segmentation and Tumor Detection from Abdominal Computed Tomography [50.08496922659307]
  本稿では、単一のモデルであるUniversal Modelが複数の公開データセットに対処し、新しいクラスに適応することを可能にするユニバーサルフレームワークを提案する。 まず,大規模言語モデルからの言語埋め込みを利用した新しい言語駆動パラメータ生成手法を提案する。 第二に、従来の出力層は軽量でクラス固有のヘッドに置き換えられ、ユニバーサルモデルでは25の臓器と6種類の腫瘍を同時に分割することができる。
  論文  参考訳（メタデータ） (2024-05-28T16:55:15Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• VISION-MAE: A Foundation Model for Medical Image Segmentation and Classification [36.8105960525233]
  医用画像に特化して設計された新しい基礎モデルVISION-MAEを提案する。 VISION-MAEは、様々なモダリティから250万枚の未ラベル画像のデータセットでトレーニングされている。 その後、明示的なラベルを使って分類とセグメンテーションのタスクに適応する。
  論文  参考訳（メタデータ） (2024-02-01T21:45:12Z)
• Generalizing Medical Image Representations via Quaternion Wavelet Networks [10.745453748351219]
  医用画像から健全な特徴を抽出できる,新しい,一般化可能な,データに依存しないフレームワークを提案する。 提案する4元ウェーブレットネットワーク(quaVE)は,既存の医用画像解析や合成作業と容易に統合できる。
  論文  参考訳（メタデータ） (2023-10-16T09:34:06Z)
• Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
  本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。 我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。 多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-15T17:55:05Z)
• Medical Image Segmentation Review: The success of U-Net [12.599426601722316]
  U-Netは、その柔軟性、最適化されたモジュラー設計、およびすべての医療画像モダリティの成功により、最も広く使われているイメージセグメンテーションアーキテクチャである。 このネットワークのいくつかの拡張は、医療タスクによって生成されるスケールと複雑さに対処するために提案されている。 本稿では,U-Netモデルの実践的側面について論じ,各ネットワーク変種を分類する分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-27T13:52:33Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。