論文の概要: Deep Class-Specific Affinity-Guided Convolutional Network for Multimodal
Unpaired Image Segmentation
- arxiv url: http://arxiv.org/abs/2101.01513v1
- Date: Tue, 5 Jan 2021 13:56:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-11 16:08:39.700525
- Title: Deep Class-Specific Affinity-Guided Convolutional Network for Multimodal
Unpaired Image Segmentation
- Title(参考訳): マルチモーダル・アンペア画像分割のためのDeep Class-Specific Affinity-Guided Convolutional Network
- Authors: Jingkun Chen, Wenqi Li, Hongwei Li, Jianguo Zhang
- Abstract要約: マルチモーダル医療イメージセグメンテーションは、臨床診断に不可欠な役割を担います。
入力モダリティはしばしば空間的に整列していないため、依然として困難である。
マルチモーダル画像分割のための親和性誘導完全畳み込みネットワークを提案する。
- 参考スコア(独自算出の注目度): 7.021001169318551
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-modal medical image segmentation plays an essential role in clinical
diagnosis. It remains challenging as the input modalities are often not
well-aligned spatially. Existing learning-based methods mainly consider sharing
trainable layers across modalities and minimizing visual feature discrepancies.
While the problem is often formulated as joint supervised feature learning,
multiple-scale features and class-specific representation have not yet been
explored. In this paper, we propose an affinity-guided fully convolutional
network for multimodal image segmentation. To learn effective representations,
we design class-specific affinity matrices to encode the knowledge of
hierarchical feature reasoning, together with the shared convolutional layers
to ensure the cross-modality generalization. Our affinity matrix does not
depend on spatial alignments of the visual features and thus allows us to train
with unpaired, multimodal inputs. We extensively evaluated our method on two
public multimodal benchmark datasets and outperform state-of-the-art methods.
- Abstract(参考訳): マルチモーダル医用画像分割は臨床診断において重要な役割を果たす。
入力モダリティはしばしば空間的に整列していないため、依然として困難である。
既存の学習ベースの手法では、トレーニング可能なレイヤをモダリティ間で共有し、視覚的特徴の相違を最小限に抑えることを主に検討している。
この問題は、しばしば共同教師付き特徴学習として定式化されるが、マルチスケール特徴とクラス固有の表現はまだ検討されていない。
本稿では,マルチモーダル画像分割のための親和性誘導完全畳み込みネットワークを提案する。
効果的な表現を学ぶために、階層的特徴推論の知識をエンコードするためにクラス固有の親和性行列を共有畳み込み層と共に設計し、相互モダリティの一般化を確実にする。
我々の親和性行列は視覚的特徴の空間的アライメントに依存しないので、不対向なマルチモーダル入力でトレーニングすることができる。
提案手法は,公開マルチモーダルベンチマークデータセットと最先端手法に比較して広範囲に評価した。
関連論文リスト
- Deep Multimodal Collaborative Learning for Polyp Re-Identification [4.4028428688691905]
大腸内視鏡によるポリープ再同定は、大きなギャラリーの同じポリープと異なるカメラで撮影された異なるビューの画像とを一致させることを目的としている。
ImageNetデータセットでトレーニングされたCNNモデルを直接適用する従来のオブジェクトReIDの手法は、不満足な検索性能をもたらす。
本稿では,ポリプ再同定のためのDMCLという新しい多モーダル協調学習フレームワークを提案する。
論文 参考訳(メタデータ) (2024-08-12T04:05:19Z) - Towards Generalized Multi-stage Clustering: Multi-view Self-distillation [10.368796552760571]
既存のマルチステージクラスタリング手法は、独立して複数のビューから健全な特徴を学習し、クラスタリングタスクを実行する。
本稿では,多視点自己蒸留(DistilMVC)を導入し,ラベル分布の暗黒知識を抽出する多段階深層MVCフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-29T03:35:34Z) - Multi-Scale Cross Contrastive Learning for Semi-Supervised Medical Image
Segmentation [14.536384387956527]
医用画像の構造を分割するマルチスケールクロススーパービジョンコントラスト学習フレームワークを開発した。
提案手法は,頑健な特徴表現を抽出するために,地上構造と横断予測ラベルに基づくマルチスケール特徴と対比する。
Diceでは最先端の半教師あり手法を3.0%以上上回っている。
論文 参考訳(メタデータ) (2023-06-25T16:55:32Z) - M$^{2}$SNet: Multi-scale in Multi-scale Subtraction Network for Medical
Image Segmentation [73.10707675345253]
医用画像から多様なセグメンテーションを仕上げるマルチスケールサブトラクションネットワーク(M$2$SNet)を提案する。
本手法は,4つの異なる医用画像セグメンテーションタスクの11つのデータセットに対して,異なる評価基準の下で,ほとんどの最先端手法に対して好意的に機能する。
論文 参考訳(メタデータ) (2023-03-20T06:26:49Z) - SATS: Self-Attention Transfer for Continual Semantic Segmentation [50.51525791240729]
連続的なセマンティックセグメンテーションは、連続的な分類学習と同じ破滅的な忘れの問題に悩まされる。
本研究では,各画像内の要素間の関係について,知識に関連する新しいタイプの情報伝達を提案する。
関係情報は、トランスフォーマースタイルのセグメンテーションモデルにおける自己アテンションマップから有効に得ることができる。
論文 参考訳(メタデータ) (2022-03-15T06:09:28Z) - Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。
これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。
そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
論文 参考訳(メタデータ) (2021-09-24T07:20:13Z) - Symbiotic Adversarial Learning for Attribute-based Person Search [86.7506832053208]
本稿では,共生学習の枠組みとして,共生学習の基盤に2つのGANを配置する。
具体的には、2種類の生成的敵ネットワークがトレーニングプロセスを通して協調的に学習する。
論文 参考訳(メタデータ) (2020-07-19T07:24:45Z) - Learning Multi-Modal Nonlinear Embeddings: Performance Bounds and an
Algorithm [8.528384027684192]
本稿では,マルチモーダルな非線形埋め込みを教師付き環境で学習する理論的解析を行う。
次に,これらの理論的な発見を動機とした多モード非線形表現学習アルゴリズムを提案する。
近年のマルチモーダル・シングルモーダル学習アルゴリズムとの比較により,提案手法は多モーダル画像分類およびクロスモーダル画像テキスト検索において有望な性能を示すことが示唆された。
論文 参考訳(メタデータ) (2020-06-03T15:22:16Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳(メタデータ) (2020-02-22T14:32:04Z) - Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。
提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。
我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文 参考訳(メタデータ) (2020-01-06T20:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。