論文の概要: Domain Adaptation Meets Zero-Shot Learning: An Annotation-Efficient
Approach to Multi-Modality Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2203.10332v1
- Date: Sat, 19 Mar 2022 14:37:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 16:56:44.966426
- Title: Domain Adaptation Meets Zero-Shot Learning: An Annotation-Efficient
Approach to Multi-Modality Medical Image Segmentation
- Title(参考訳): ドメイン適応とゼロショット学習:マルチモーダル医療画像セグメンテーションへのアノテーション効率の良いアプローチ
- Authors: Cheng Bian, Chenglang Yuan, Kai Ma, Shuang Yu, Dong Wei and Yefeng
Zheng
- Abstract要約: ゼロショット学習(ZSL: Zero-shot Learning)は、近年、未確認のクラスを認識できる深層モデルとして登場している。
医学用語は非常にドメイン固有であるため、ZSLソリューションを医用画像に直接適用することは現実的ではない。
本稿では,医用画像用ZSLの新しいパラダイムを提案する。
- 参考スコア(独自算出の注目度): 28.00711123904655
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Due to the lack of properly annotated medical data, exploring the
generalization capability of the deep model is becoming a public concern.
Zero-shot learning (ZSL) has emerged in recent years to equip the deep model
with the ability to recognize unseen classes. However, existing studies mainly
focus on natural images, which utilize linguistic models to extract auxiliary
information for ZSL. It is impractical to apply the natural image ZSL solutions
directly to medical images, since the medical terminology is very
domain-specific, and it is not easy to acquire linguistic models for the
medical terminology. In this work, we propose a new paradigm of ZSL
specifically for medical images utilizing cross-modality information. We make
three main contributions with the proposed paradigm. First, we extract the
prior knowledge about the segmentation targets, called relation prototypes,
from the prior model and then propose a cross-modality adaptation module to
inherit the prototypes to the zero-shot model. Second, we propose a relation
prototype awareness module to make the zero-shot model aware of information
contained in the prototypes. Last but not least, we develop an inheritance
attention module to recalibrate the relation prototypes to enhance the
inheritance process. The proposed framework is evaluated on two public
cross-modality datasets including a cardiac dataset and an abdominal dataset.
Extensive experiments show that the proposed framework significantly
outperforms the state of the arts.
- Abstract(参考訳): 適切にアノテートされた医療データの欠如により、深層モデルの一般化能力の探求が公の関心事となっている。
ゼロショット学習(zsl)は、深層モデルに未知のクラスを認識する能力を持たせるために近年登場している。
しかし、既存の研究では、言語モデルを用いてZSLの補助情報を抽出する自然画像を中心に研究されている。
医学用語は非常にドメイン固有であり、医学用語の言語モデルを取得することは容易ではないため、自然画像ZSLソリューションを直接医療画像に適用することは不可能である。
そこで本研究では,医療画像を対象としたZSLの新しいパラダイムを提案する。
提案パラダイムの主な貢献は3つある。
まず,関係プロトタイプと呼ばれるセグメンテーション対象に関する事前知識を先行モデルから抽出し,そのプロトタイプをゼロショットモデルに継承するクロスモダリティ適応モジュールを提案する。
次に,プロトタイプに含まれる情報をゼロショットモデルに認識させるための関係プロトタイプ認識モジュールを提案する。
最後に、我々は継承プロセスを強化するために関係プロトタイプを再調整する継承注意モジュールを開発した。
提案フレームワークは心臓データセットと腹部データセットを含む2つの公開クロスモダリティデータセット上で評価される。
大規模な実験により、提案された枠組みは芸術の状態を著しく上回る結果となった。
関連論文リスト
- Foundational Models in Medical Imaging: A Comprehensive Survey and
Future Vision [6.2847894163744105]
ファンデーションモデルは、広範囲の下流タスクに適応した大規模で事前訓練されたディープラーニングモデルである。
これらのモデルは、コンテキスト推論、一般化、テスト時の迅速な機能を促進する。
コンピュータビジョンの進歩に乗じて、医療画像はこれらのモデルへの関心も高まっている。
論文 参考訳(メタデータ) (2023-10-28T12:08:12Z) - Robust and Interpretable Medical Image Classifiers via Concept
Bottleneck Models [49.95603725998561]
本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。
具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
論文 参考訳(メタデータ) (2023-10-04T21:57:09Z) - Exploring Transfer Learning in Medical Image Segmentation using
Vision-Language Models [0.9324036842528547]
本稿では,VLSMの2次元医用画像への変換学習に関する最初のベンチマーク研究について述べる。
以上の結果から,VLSMは自然画像とテキストのペアで訓練され,ゼロショット設定で医療領域に合理的に移行することが示唆された。
しかし、微調整中の言語プロンプトのさらなる利点は限られているかもしれない。
論文 参考訳(メタデータ) (2023-08-15T11:28:21Z) - Empirical Analysis of a Segmentation Foundation Model in Prostate
Imaging [9.99042549094606]
医療画像セグメンテーションのための基盤モデルUniverSegについて考察する。
本研究では,前立腺画像の文脈における経験的評価研究を行い,従来のタスク固有セグメンテーションモデルの訓練手法と比較する。
論文 参考訳(メタデータ) (2023-07-06T20:00:52Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - Learnable Weight Initialization for Volumetric Medical Image
Segmentation [54.1807206010136]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2023-06-15T17:55:05Z) - Customizing General-Purpose Foundation Models for Medical Report
Generation [64.31265734687182]
ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。
本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
論文 参考訳(メタデータ) (2023-06-09T03:02:36Z) - Learning with Explicit Shape Priors for Medical Image Segmentation [17.110893665132423]
UNetモデルにおけるセグメント化性能を向上させるために,新しい形状先行モジュール(SPM)を提案する。
明示的な形状の先行は、大域的および局所的な形状の先行から成っている。
提案手法は最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-03-31T11:12:35Z) - Anomaly Detection-Inspired Few-Shot Medical Image Segmentation Through
Self-Supervision With Supervoxels [23.021720656733088]
そこで本研究では, 異常検出に着想を得た新規な医用画像分割手法を提案する。
我々は1つの前景のプロトタイプを使用して、全てのクエリピクセルの異常スコアを計算する。
セグメンテーションは、学習しきい値を用いてこれらの異常スコアをしきい値にすることで実行される。
論文 参考訳(メタデータ) (2022-03-03T22:36:39Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳(メタデータ) (2020-12-10T04:01:07Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳(メタデータ) (2020-06-11T17:29:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。