論文の概要: Double Banking on Knowledge: Customized Modulation and Prototypes for Multi-Modality Semi-supervised Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2410.17565v1
• Date: Wed, 23 Oct 2024 05:19:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:55:52.952071
• Title: Double Banking on Knowledge: Customized Modulation and Prototypes for Multi-Modality Semi-supervised Medical Image Segmentation
• Title（参考訳）: 知識の二重バンキング:多モード半教師型医用画像分割のためのカスタマイズされた変調とプロトタイプ
• Authors: Yingyu Chen, Ziyuan Yang, Ming Yan, Zhongzhou Zhang, Hui Yu, Yan Liu, Yi Zhang,
• Abstract要約: マルチモダリティ(MM)半教師あり学習(SSL)に基づく医用画像セグメンテーションは近年注目を集めている。 しかし、現在の手法にはいくつかの課題がある。 本稿では,医療画像セグメンテーションのための新しいMM-SSLアプローチであるDouble Bank Dual Consistency (DBDC)を提案する。
• 参考スコア（独自算出の注目度）: 20.749081083620016
• License:
• Abstract: Multi-modality (MM) semi-supervised learning (SSL) based medical image segmentation has recently gained increasing attention for its ability to utilize MM data and reduce reliance on labeled images. However, current methods face several challenges: (1) Complex network designs hinder scalability to scenarios with more than two modalities. (2) Focusing solely on modality-invariant representation while neglecting modality-specific features, leads to incomplete MM learning. (3) Leveraging unlabeled data with generative methods can be unreliable for SSL. To address these problems, we propose Double Bank Dual Consistency (DBDC), a novel MM-SSL approach for medical image segmentation. To address challenge (1), we propose a modality all-in-one segmentation network that accommodates data from any number of modalities, removing the limitation on modality count. To address challenge (2), we design two learnable plug-in banks, Modality-Level Modulation bank (MLMB) and Modality-Level Prototype (MLPB) bank, to capture both modality-invariant and modality-specific knowledge. These banks are updated using our proposed Modality Prototype Contrastive Learning (MPCL). Additionally, we design Modality Adaptive Weighting (MAW) to dynamically adjust learning weights for each modality, ensuring balanced MM learning as different modalities learn at different rates. Finally, to address challenge (3), we introduce a Dual Consistency (DC) strategy that enforces consistency at both the image and feature levels without relying on generative methods. We evaluate our method on a 2-to-4 modality segmentation task using three open-source datasets, and extensive experiments show that our method outperforms state-of-the-art approaches.
• Abstract（参考訳）: マルチモダリティ(MM)に基づく半教師付き学習(SSL)に基づく医療画像セグメンテーションは近年,MMデータの利用とラベル付き画像への依存の軽減に注目が集まっている。 1) 複雑なネットワーク設計は、2つ以上のモダリティを持つシナリオにスケーラビリティを阻害する。 2)モダリティに特有な特徴を無視しながらモダリティ不変表現のみに焦点を合わせ,不完全MM学習につながる。 (3) 生成手法によるラベルなしデータの活用はSSLでは信頼性が低い。 医療画像分割のための新しいMM-SSLアプローチであるDouble Bank Dual Consistency (DBDC)を提案する。 課題(1)に対処するため,任意のモダリティからのデータに対応可能なモダリティオールインワンセグメンテーションネットワークを提案し,モダリティカウントの制限を取り除いた。 課題(2)に対処するため,我々は,モダリティ不変とモダリティ特化の両方の知識を捉えるために,モダリティ・レベル・モダリティ銀行(MLMB)とモダリティ・レベル・プロトタイプ銀行(MLPB)の2つの学習可能なプラグインバンクを設計した。 これらのバンクは、提案したModality Prototype Contrastive Learning (MPCL)を用いて更新される。 さらに,モータリティ適応重み付け(MAW)を設計し,各モータリティの学習重みを動的に調整し,異なるモータリティが異なるレートで学習するにつれて,バランスの取れたMM学習を確保する。 最後に, 課題 (3) に対処するため, 生成手法に頼ることなく, 画像レベルと特徴レベルの整合性を強制するDual Consistency (DC) 戦略を導入する。 提案手法は,3つのオープンソースデータセットを用いて2対4のモダリティセグメンテーションタスクにおいて評価し,提案手法が最先端の手法よりも優れていることを示す。

関連論文リスト

• LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
  既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
  論文  参考訳（メタデータ） (2024-10-26T13:19:57Z)
• Cross-Modal Few-Shot Learning: a Generative Transfer Learning Framework [58.362064122489166]
  本稿では,複数モーダルからインスタンスを識別するクロスモーダルなFew-Shot Learningタスクを提案する。 本稿では,1つの段階からなる生成的転帰学習フレームワークを提案する。1つは豊富な一助データに対する学習を伴い,もう1つは新しいデータに適応するための転帰学習に焦点を当てる。 以上の結果から,GTLは4つの異なるマルチモーダルデータセット間の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T16:09:38Z)
• Learning Modality-agnostic Representation for Semantic Segmentation from Any Modalities [8.517830626176641]
  Any2Segは、任意の視覚的条件におけるモダリティの組み合わせから堅牢なセグメンテーションを実現する新しいフレームワークである。 4つのモダリティを持つ2つのベンチマークの実験は、Any2Segがマルチモーダル設定の下で最先端を達成することを示した。
  論文  参考訳（メタデータ） (2024-07-16T03:34:38Z)
• ADAPT: Multimodal Learning for Detecting Physiological Changes under Missing Modalities [5.109460371388953]
  本稿では,AnchoreD MultimodAl Physiological Transformer (ADAPT)を紹介した。 本研究は,2つの実生活シナリオにおける生理的変化を検出することに焦点を当て,特定のトリガーによって誘発される個人におけるストレスと,$g$-forcesによって誘発される意識喪失に焦点を当てた。
  論文  参考訳（メタデータ） (2024-07-04T11:05:14Z)
• Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
  本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。 任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
  論文  参考訳（メタデータ） (2024-05-06T11:02:02Z)
• Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
  本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。 AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。 AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-12T11:48:49Z)
• Unleashing the Power of Imbalanced Modality Information for Multi-modal Knowledge Graph Completion [40.86196588992357]
  マルチモーダル知識グラフ補完(MMKGC)は、マルチモーダル知識グラフの欠落三重項を予測することを目的としている。 適応型マルチモーダルフュージョン・モダリティ・アディショナル・トレーニング(AdaMF-MAT)を提案し,不均衡なモダリティ情報のパワーを解き放つ。 提案手法はMMKGCモデルとトレーニング戦略の共同設計であり,近年のMMKGC手法を上回りうる。
  論文  参考訳（メタデータ） (2024-02-22T05:48:03Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Learning Multimodal Data Augmentation in Feature Space [65.54623807628536]
  LeMDAは、機能空間におけるマルチモーダルデータを共同で拡張することを自動的に学習する、使い易い方法である。 我々はLeMDAがマルチモーダルディープラーニングアーキテクチャの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。