論文の概要: Unpaired Multi-modal Segmentation via Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2001.03111v1
• Date: Mon, 6 Jan 2020 20:03:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 02:54:03.623301
• Title: Unpaired Multi-modal Segmentation via Knowledge Distillation
• Title（参考訳）: 知識蒸留による無ペアマルチモーダルセグメンテーション
• Authors: Qi Dou, Quande Liu, Pheng Ann Heng, Ben Glocker
• Abstract要約: 本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
• 参考スコア（独自算出の注目度）: 77.39798870702174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal learning is typically performed with network architectures containing modality-specific layers and shared layers, utilizing co-registered images of different modalities. We propose a novel learning scheme for unpaired cross-modality image segmentation, with a highly compact architecture achieving superior segmentation accuracy. In our method, we heavily reuse network parameters, by sharing all convolutional kernels across CT and MRI, and only employ modality-specific internal normalization layers which compute respective statistics. To effectively train such a highly compact model, we introduce a novel loss term inspired by knowledge distillation, by explicitly constraining the KL-divergence of our derived prediction distributions between modalities. We have extensively validated our approach on two multi-class segmentation problems: i) cardiac structure segmentation, and ii) abdominal organ segmentation. Different network settings, i.e., 2D dilated network and 3D U-net, are utilized to investigate our method's general efficacy. Experimental results on both tasks demonstrate that our novel multi-modal learning scheme consistently outperforms single-modal training and previous multi-modal approaches.
• Abstract（参考訳）: マルチモーダル学習は通常、モダリティ固有の層と共有層を含むネットワークアーキテクチャで行われ、異なるモダリティの共登録画像を利用する。 本稿では,高度にコンパクトなセグメンテーション精度を実現した,非ペア型クロスモダリティ画像セグメンテーションのための新しい学習手法を提案する。 提案手法では,CTとMRIにまたがるすべての畳み込みカーネルを共有化することで,ネットワークパラメータを多用し,各統計量を計算するモダリティ固有の内部正規化層のみを用いる。 このような高度にコンパクトなモデルを効果的に訓練するために,モーダル間の予測分布のKL偏差を明示的に制限することにより,知識蒸留にヒントを得た新たな損失項を導入する。 我々は2つのマルチクラスセグメンテーション問題に対するアプローチを広範囲に検証した。 一 心臓構造区分、及び 二 腹部臓器の分節 2次元拡張ネットワークと3次元U-netの異なるネットワーク設定を用いて,本手法の汎用性を検討した。 両タスクにおける実験結果から,新しいマルチモーダル学習方式は,単一モーダルトレーニングと従来のマルチモーダルアプローチを一貫して上回っていることが示された。

関連論文リスト

• General-Purpose Multimodal Transformer meets Remote Sensing Semantic Segmentation [35.100738362291416]
  マルチモーダルAIは、特にセマンティックセグメンテーションのような複雑なタスクのために、補完的なデータソースを活用する。 汎用マルチモーダルネットワークの最近のトレンドは、最先端の性能を達成する大きな可能性を示している。 本稿では,3次元畳み込みを利用して重要なローカル情報をエンコードし,同時にモーダルな特徴を学習するUNet型モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-07T04:58:34Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• Routing with Self-Attention for Multimodal Capsule Networks [108.85007719132618]
  我々は,カプセルの強度をマルチモーダル学習フレームワークの文脈で活用できる,新しいマルチモーダルカプセルネットワークを提案する。 カプセルを大規模入力データに適応させるために, カプセルを選択する自己保持機構による新たなルーティングを提案する。 これにより、ノイズの多いビデオデータによる堅牢なトレーニングだけでなく、従来のルーティング方法と比較してカプセルネットワークのサイズを拡大することが可能になる。
  論文  参考訳（メタデータ） (2021-12-01T19:01:26Z)
• Knowledge distillation from multi-modal to mono-modal segmentation networks [13.213798509506272]
  学習したマルチモーダルネットワーク(教師)からモノモーダルネットワーク(学生)へ知識を伝達するフレームワークであるKD-Netを提案する。 学生ネットワークは教師から効果的に学習し、セグメンテーションの精度で常にベースラインのモノモーダルネットワークより優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-17T14:46:57Z)
• Deep Class-Specific Affinity-Guided Convolutional Network for Multimodal Unpaired Image Segmentation [7.021001169318551]
  マルチモーダル医療イメージセグメンテーションは、臨床診断に不可欠な役割を担います。 入力モダリティはしばしば空間的に整列していないため、依然として困難である。 マルチモーダル画像分割のための親和性誘導完全畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2021-01-05T13:56:51Z)
• Towards Cross-modality Medical Image Segmentation with Online Mutual Knowledge Distillation [71.89867233426597]
  本稿では,あるモダリティから学習した事前知識を活用し,別のモダリティにおけるセグメンテーション性能を向上させることを目的とする。 モーダル共有知識を徹底的に活用する新しい相互知識蒸留法を提案する。 MMWHS 2017, MMWHS 2017 を用いた多クラス心筋セグメンテーション実験の結果, CT セグメンテーションに大きな改善が得られた。
  論文  参考訳（メタデータ） (2020-10-04T10:25:13Z)
• MetricUNet: Synergistic Image- and Voxel-Level Learning for Precise CT Prostate Segmentation via Online Sampling [66.01558025094333]
  本稿では,前立腺領域を高速に局在させる第1段階と,前立腺領域を正確に区分する第2段階の2段階のフレームワークを提案する。 マルチタスクネットワークにおけるボクセルワイドサンプリングによる新しいオンラインメトリック学習モジュールを提案する。 本手法は,従来のクロスエントロピー学習法やDice損失学習法と比較して,より代表的なボクセルレベルの特徴を効果的に学習することができる。
  論文  参考訳（メタデータ） (2020-05-15T10:37:02Z)
• Deep Multimodal Neural Architecture Search [178.35131768344246]
  様々なマルチモーダル学習タスクのための一般化された深層マルチモーダルニューラルアーキテクチャサーチ(MMnas)フレームワークを考案する。 マルチモーダル入力が与えられたら、まずプリミティブ演算のセットを定義し、その後、ディープエンコーダ-デコーダベースの統一バックボーンを構築する。 統合されたバックボーンの上にタスク固有のヘッドをアタッチして、異なるマルチモーダル学習タスクに取り組む。
  論文  参考訳（メタデータ） (2020-04-25T07:00:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。