論文の概要: Deep Multimodal Fusion of Data with Heterogeneous Dimensionality via Projective Networks

• arxiv url: http://arxiv.org/abs/2402.01311v1
• Date: Fri, 2 Feb 2024 11:03:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 15:53:25.401146
• Title: Deep Multimodal Fusion of Data with Heterogeneous Dimensionality via Projective Networks
• Title（参考訳）: 射影ネットワークによる異次元データの深層マルチモーダル融合
• Authors: Jos\'e Morano and Guilherme Aresta and Christoph Grechenig and Ursula Schmidt-Erfurth and Hrvoje Bogunovi\'c
• Abstract要約: ヘテロジニアス次元(例えば3D+2D)を持つマルチモーダルデータの融合のための新しいディープラーニングベースのフレームワークを提案する。 この枠組みは、地理的萎縮(GA)の分画、加齢に伴う黄斑変性の後期発現、マルチモーダル網膜イメージングにおける網膜血管(RBV)の分画といった課題で検証された。 提案手法は, GAとRBVのセグメンテーションを最大3.10%, Diceを最大4.64%向上させる。
• 参考スコア（独自算出の注目度）: 4.933439602197885
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The use of multimodal imaging has led to significant improvements in the diagnosis and treatment of many diseases. Similar to clinical practice, some works have demonstrated the benefits of multimodal fusion for automatic segmentation and classification using deep learning-based methods. However, current segmentation methods are limited to fusion of modalities with the same dimensionality (e.g., 3D+3D, 2D+2D), which is not always possible, and the fusion strategies implemented by classification methods are incompatible with localization tasks. In this work, we propose a novel deep learning-based framework for the fusion of multimodal data with heterogeneous dimensionality (e.g., 3D+2D) that is compatible with localization tasks. The proposed framework extracts the features of the different modalities and projects them into the common feature subspace. The projected features are then fused and further processed to obtain the final prediction. The framework was validated on the following tasks: segmentation of geographic atrophy (GA), a late-stage manifestation of age-related macular degeneration, and segmentation of retinal blood vessels (RBV) in multimodal retinal imaging. Our results show that the proposed method outperforms the state-of-the-art monomodal methods on GA and RBV segmentation by up to 3.10% and 4.64% Dice, respectively.
• Abstract（参考訳）: マルチモーダルイメージングの使用は、多くの疾患の診断と治療に大きな改善をもたらした。 臨床と同様、深層学習を用いた自動セグメンテーションと分類のためのマルチモーダル融合の利点を実証する研究もある。 しかし、現在のセグメンテーション法は、同じ次元を持つモダリティ(例えば、3D+3D、2D+2D)の融合に限られており、分類法によって実施される融合戦略は、ローカライズタスクとは相容れない。 本研究では,マルチモーダルデータと不均質な次元(例えば,3d+2d)を融合する深層学習に基づく新しいフレームワークを提案する。 提案するフレームワークは,異なるモダリティの特徴を抽出し,共通の特徴部分空間に投影する。 投影された特徴を融合してさらに処理し、最終的な予測を得る。 この枠組みは、地理的萎縮(GA)の分画、加齢に伴う黄斑変性の後期発現、マルチモーダル網膜イメージングにおける網膜血管(RBV)の分画といった課題で検証された。 提案手法は,gaとrbvのセグメンテーションにおける最先端モノモーダル法を3.10%,4.64%それぞれ上回っている。

関連論文リスト

• Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
  医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。 半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
  論文  参考訳（メタデータ） (2023-12-26T12:56:31Z)
• Multi-Modal Evaluation Approach for Medical Image Segmentation [4.989480853499916]
  本稿では,異なるセグメンテーション手法の有効性を評価するために,新しいマルチモーダル評価(MME)手法を提案する。 本稿では, 検出特性, 境界アライメント, 均一性, 総体積, 相対体積など, 関連性, 解釈可能な新しい特徴を紹介する。 提案するアプローチはオープンソースで,使用することができる。
  論文  参考訳（メタデータ） (2023-02-08T15:31:33Z)
• Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
  本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。 中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。 on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
  論文  参考訳（メタデータ） (2022-01-07T07:46:01Z)
• Multiple Sclerosis Lesions Segmentation using Attention-Based CNNs in FLAIR Images [0.2578242050187029]
  多発性硬化症(Multiple Sclerosis、MS)は、中枢神経系の病変を引き起こす自己免疫性脱髄性疾患である。 今のところ、病変の分断には多要素自動バイオメディカルアプローチが多用されている。 著者らは1つのモダリティ(FLAIR画像)を用いてMS病変を正確に分類する方法を提案する。
  論文  参考訳（メタデータ） (2022-01-05T21:37:43Z)
• A Unified Framework for Generalized Low-Shot Medical Image Segmentation with Scarce Data [24.12765716392381]
  距離距離距離距離学習(DML)に基づく医用画像分割の一般化のための統一的枠組みを提案する。 DMLでは,各カテゴリの多モード混合表現を学習し,画素の深層埋め込みとカテゴリ表現との間の余弦距離に基づいて密接な予測を行う。 脳MRIおよび腹部CTデータセットの実験において,提案手法は標準DNN(3D U-Net)法と古典的登録(ANT)法に対して,低ショットセグメンテーションにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-18T13:01:06Z)
• Modality Completion via Gaussian Process Prior Variational Autoencoders for Multi-Modal Glioma Segmentation [75.58395328700821]
  本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。 MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。 4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
  論文  参考訳（メタデータ） (2021-07-07T19:06:34Z)
• Cross-Modality Brain Tumor Segmentation via Bidirectional Global-to-Local Unsupervised Domain Adaptation [61.01704175938995]
  本論文では,UDAスキームに基づくBiGL(Bidirectional Global-to-Local)適応フレームワークを提案する。 具体的には、脳腫瘍をセグメント化するために、双方向画像合成およびセグメンテーションモジュールを提案する。 提案手法は, 最先端の非教師なし領域適応法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-05-17T10:11:45Z)
• Contextual Information Enhanced Convolutional Neural Networks for Retinal Vessel Segmentation in Color Fundus Images [0.0]
  自動網膜血管セグメンテーションシステムは、臨床診断及び眼科研究を効果的に促進することができる。 ディープラーニングベースの手法が提案され、いくつかのカスタマイズされたモジュールが有名なエンコーダデコーダアーキテクチャU-netに統合されている。 その結果,提案手法は先行技術よりも優れ,感性/リコール,F1スコア,MCCの最先端性能を実現している。
  論文  参考訳（メタデータ） (2021-03-25T06:10:47Z)
• Max-Fusion U-Net for Multi-Modal Pathology Segmentation with Attention and Dynamic Resampling [13.542898009730804]
  関連するアルゴリズムの性能は、マルチモーダル情報の適切な融合によって大きく影響を受ける。 We present the Max-Fusion U-Net that achieve a improve pathology segmentation performance。 マルチシーケンスCMRデータセットを併用したMyoPS(Myocardial pathology segmentation)を用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2020-09-05T17:24:23Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)
• Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
  本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。