論文の概要: UniSeg: A Prompt-driven Universal Segmentation Model as well as A Strong Representation Learner

• arxiv url: http://arxiv.org/abs/2304.03493v1
• Date: Fri, 7 Apr 2023 06:28:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-10 12:53:31.433537
• Title: UniSeg: A Prompt-driven Universal Segmentation Model as well as A Strong Representation Learner
• Title（参考訳）: UniSeg: プロンプト駆動のユニバーサルセグメンテーションモデルと強力な表現学習者
• Authors: Yiwen Ye, Yutong Xie, Jianpeng Zhang, Ziyang Chen, Yong Xia
• Abstract要約: マルチタスク画像分割のためのプロンプト駆動ユニバーサルモデル(UniSeg)を提案する。 我々は、進行中のタスクのモデル「アウェア」を早期に作成し、デコーダ全体のタスク固有のトレーニングを強化する。 提案したUniSegは,11の上流タスクにおいて,他のユニバーサルモデルやシングルタスクモデルよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 32.698493660851035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The universal model emerges as a promising trend for medical image segmentation, paving up the way to build medical imaging large model (MILM). One popular strategy to build universal models is to encode each task as a one-hot vector and generate dynamic convolutional layers at the end of the decoder to extract the interested target. Although successful, it ignores the correlations among tasks and meanwhile is too late to make the model 'aware' of the ongoing task. To address both issues, we propose a prompt-driven Universal Segmentation model (UniSeg) for multi-task medical image segmentation using diverse modalities and domains. We first devise a learnable universal prompt to describe the correlations among all tasks and then convert this prompt and image features into a task-specific prompt, which is fed to the decoder as a part of its input. Thus, we make the model 'aware' of the ongoing task early and boost the task-specific training of the whole decoder. Our results indicate that the proposed UniSeg outperforms other universal models and single-task models on 11 upstream tasks. Moreover, UniSeg also beats other pre-trained models on two downstream datasets, providing the community with a high-quality pre-trained model for 3D medical image segmentation. Code and model are available at https://github.com/yeerwen/UniSeg.
• Abstract（参考訳）: ユニバーサルモデルは、医療画像分割の有望なトレンドとして登場し、医療画像大モデル(milm)構築の道を開く。 ユニバーサルモデルを構築するための一般的な戦略は、各タスクを1ホットベクトルとしてエンコードし、デコーダの最後に動的畳み込み層を生成して、興味のあるターゲットを抽出することである。 成功したとしても、タスク間の相関を無視する一方で、進行中のタスクの「認識」モデルを作るには遅すぎる。 この問題に対処するために,多様なモダリティとドメインを用いたマルチタスク医用画像セグメンテーションのためのプロンプト駆動ユニバーサルセグメンテーションモデル(uniseg)を提案する。 まず,すべてのタスク間の相関関係を記述するための学習可能なユニバーサルプロンプトを考案し,このプロンプトとイメージ特徴をタスク固有のプロンプトに変換し,デコーダに入力の一部として供給する。 そこで我々は,現在進行中のタスクのモデル「アウェア」を早期に作成し,デコーダ全体のタスク固有のトレーニングを促進する。 提案したUniSegは,11の上流タスクにおいて,他のユニバーサルモデルやシングルタスクモデルよりも優れていることを示す。 さらに、UniSegは2つの下流データセットで事前訓練されたモデルも打ち負かし、3D画像セグメンテーションのための高品質な事前訓練モデルを提供する。 コードとモデルはhttps://github.com/yeerwen/unisegで入手できる。

関連論文リスト

• KA$^2$ER: Knowledge Adaptive Amalgamation of ExpeRts for Medical Images Segmentation [5.807887214293438]
  本稿では,多元的基礎モデルを学習し,複数のエキスパートモデルの協調的な目標に対処することを目的としたアダプティブ・アマルガメーション・ナレッジ・フレームワークを提案する。 特に、まず、各タスクに対してnnUNetベースのエキスパートモデルをトレーニングし、トレーニング済みのSwinUNTERをターゲット基盤モデルとして再利用する。 隠蔽層内の階層的アテンション機構は、すべての専門家の隠蔽層の特徴知識にターゲットモデルの適応的なマージを実現するように設計されている。
  論文  参考訳（メタデータ） (2024-10-28T14:49:17Z)
• MedUniSeg: 2D and 3D Medical Image Segmentation via a Prompt-driven Universal Model [27.58715707047272]
  MedUniSegは、2次元および3次元マルチタスクセグメンテーションのためのプロンプト駆動のユニバーサルセグメンテーションモデルである。 MedUniSegは複数のモーダル固有のプロンプトとユニバーサルタスクプロンプトを使用して、モーダルとタスクを正確に特徴づける。 我々は17のサブデータセットからなる総合的マルチモーダル上流データセット上でMedUniSegを評価する。
  論文  参考訳（メタデータ） (2024-10-08T11:04:01Z)
• Universal Medical Image Representation Learning with Compositional Decoders [36.36271760800241]
  我々は,すべてのレベルでタスクをサポートする,分解分解型ユニバーサル医療イメージングパラダイム(UniMed)を開発した。 定義した入力キューに基づいて,画素とセマンティックという2種類の出力を予測できる分解デコーダを提案する。 入力空間と出力空間を統一した合成デコーダを導入し、異なるレベルのタスクアノテーションを離散トークン形式に標準化する。
  論文  参考訳（メタデータ） (2024-09-30T02:39:42Z)
• Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting [49.87694319431288]
  一般的なセグメンテーションモデルは、異なる画像ソースからの様々なオブジェクトを含む様々なタスクに対して、ますます好まれている。 画像とマスクのペアを合成することで外観と意味の知識を復元する包括的生成(CGR)フレームワークを提案する。 漸進的タスク(心身、基礎、前立腺のセグメンテーション)の実験は、同時出現と意味的忘れを緩和する上で、明らかな優位性を示している。
  論文  参考訳（メタデータ） (2024-06-28T10:05:58Z)
• Rethinking Interactive Image Segmentation with Low Latency, High Quality, and Diverse Prompts [68.86537322287474]
  多様なプロンプトを持つ低レイテンシで高品質な対話的セグメンテーションは、スペシャリストやジェネラリストモデルでは難しい。 我々は、低レイテンシ、高品質、多様なプロンプトサポートを提供する次世代インタラクティブセグメンテーションアプローチであるSegNextを提案する。 本手法は,HQSeg-44KとDAVISにおいて,定量的かつ定性的に,最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-03-31T17:02:24Z)
• OMG-Seg: Is One Model Good Enough For All Segmentation? [83.17068644513144]
  OMG-Segは、タスク固有のクエリと出力を持つトランスフォーマーベースのエンコーダデコーダアーキテクチャである。 OMG-Segは10以上の異なるセグメンテーションタスクをサポートできるが、計算とパラメータのオーバーヘッドを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2024-01-18T18:59:34Z)
• UnIVAL: Unified Model for Image, Video, Audio and Language Tasks [105.77733287326308]
  UnIVALモデルは2つのモードを超えて、テキスト、画像、ビデオ、オーディオを1つのモデルに統合する。 本モデルは,タスクバランスとマルチモーダルカリキュラム学習に基づいて,多くのタスクに対して効率的に事前学習を行う。 統一モデルにより、重み一般化によるマルチモーダルモデルの融合に関する新しい研究を提案する。
  論文  参考訳（メタデータ） (2023-07-30T09:48:36Z)
• An Efficient General-Purpose Modular Vision Model via Multi-Task Heterogeneous Training [79.78201886156513]
  本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。 提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
  論文  参考訳（メタデータ） (2023-06-29T17:59:57Z)
• Uni-Perceiver v2: A Generalist Model for Large-Scale Vision and Vision-Language Tasks [86.66733026149892]
  大規模ビジョンと視覚非依存タスクを扱える最初のジェネラリストモデルであるUni-Perceiver v2を提案する。 具体的には、画像は一般領域の提案としてエンコードされ、テキストはTransformerベースの言語モデルを介してエンコードされる。 Uni-Perceiver v2は、幅広いビジョンとビジョン言語タスクで競争力を発揮する。
  論文  参考訳（メタデータ） (2022-11-17T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。