論文の概要: Mutual Attention-based Hybrid Dimensional Network for Multimodal Imaging
Computer-aided Diagnosis
- arxiv url: http://arxiv.org/abs/2201.09421v1
- Date: Mon, 24 Jan 2022 02:31:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-25 17:19:40.783332
- Title: Mutual Attention-based Hybrid Dimensional Network for Multimodal Imaging
Computer-aided Diagnosis
- Title(参考訳): マルチモーダル画像診断のための相互注意型ハイブリッド次元ネットワーク
- Authors: Yin Dai, Yifan Gao, Fayu Liu and Jun Fu
- Abstract要約: マルチモーダル3次元医用画像分類(MMNet)のための新しい相互注意型ハイブリッド次元ネットワークを提案する。
ハイブリッド次元ネットワークは2D CNNと3D畳み込みモジュールを統合し、より深くより情報的な特徴マップを生成する。
さらに,画像モダリティの異なる類似の立体視領域において,各領域の整合性を構築するために,ネットワーク内の相互注意フレームワークを設計する。
- 参考スコア(独自算出の注目度): 4.657804635843888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent works on Multimodal 3D Computer-aided diagnosis have demonstrated that
obtaining a competitive automatic diagnosis model when a 3D convolution neural
network (CNN) brings more parameters and medical images are scarce remains
nontrivial and challenging. Considering both consistencies of regions of
interest in multimodal images and diagnostic accuracy, we propose a novel
mutual attention-based hybrid dimensional network for MultiModal 3D medical
image classification (MMNet). The hybrid dimensional network integrates 2D CNN
with 3D convolution modules to generate deeper and more informative feature
maps, and reduce the training complexity of 3D fusion. Besides, the pre-trained
model of ImageNet can be used in 2D CNN, which improves the performance of the
model. The stereoscopic attention is focused on building rich contextual
interdependencies of the region in 3D medical images. To improve the regional
correlation of pathological tissues in multimodal medical images, we further
design a mutual attention framework in the network to build the region-wise
consistency in similar stereoscopic regions of different image modalities,
providing an implicit manner to instruct the network to focus on pathological
tissues. MMNet outperforms many previous solutions and achieves results
competitive to the state-of-the-art on three multimodal imaging datasets, i.e.,
Parotid Gland Tumor (PGT) dataset, the MRNet dataset, and the PROSTATEx
dataset, and its advantages are validated by extensive experiments.
- Abstract(参考訳): マルチモーダル3dコンピュータ支援診断に関する最近の研究は、3次元畳み込みニューラルネットワーク(cnn)がより多くのパラメータをもたらし、医療画像が乏しい場合に競合する自動診断モデルを得ることを実証している。
マルチモーダル画像に対する関心領域と診断精度の両方を考慮し、マルチモーダル3次元医用画像分類(MMNet)のための新しい相互注意型ハイブリッド次元ネットワークを提案する。
ハイブリッド次元ネットワークは、2D CNNと3D畳み込みモジュールを統合し、より深くより情報的な特徴マップを生成し、3D融合のトレーニングの複雑さを低減する。
さらに、ImageNetの事前訓練されたモデルは、2D CNNで使用することができ、モデルの性能が向上する。
立体視は3次元医用画像に領域の豊富な文脈依存性を構築することに焦点を当てている。
マルチモーダル医用画像における病理組織の局所的相関を改善するために,ネットワーク内の相互注意フレームワークをデザインし,異なる画像形態の類似立体領域における局所的一貫性を構築し,ネットワークに病理組織に焦点を当てるように指示する暗黙的な方法を提供する。
MMNetは従来の多くのソリューションより優れており、Parotid Gland tumor (PGT) データセット、MRNet データセット、 PROSTATEx データセットといった3つのマルチモーダル画像データセットの最先端と競合する結果が得られ、その利点は広範な実験によって検証される。
関連論文リスト
- QUBIQ: Uncertainty Quantification for Biomedical Image Segmentation Challenge [93.61262892578067]
医用画像分割作業の不確実性、特にラター間変動性は重要な課題である。
この可変性は、自動セグメンテーションアルゴリズムの開発と評価に直接影響を及ぼす。
バイオメディカル画像量化チャレンジ(QUBIQ)における不確実性の定量化のベンチマーク結果を報告する。
論文 参考訳(メタデータ) (2024-03-19T17:57:24Z) - SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion
Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。
提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。
科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文 参考訳(メタデータ) (2024-02-27T06:32:56Z) - Enhancing CT Image synthesis from multi-modal MRI data based on a
multi-task neural network framework [16.864720020158906]
拡張型Transformer U-Netアーキテクチャに基づく多目的マルチタスクニューラルネットワークフレームワークを提案する。
我々はCT画像を個別のサブタスクに分解する従来の問題を分解する。
マルチモーダルデータを扱う際のフレームワークの汎用性を高めるため,複数の画像チャネルでモデルを拡張した。
論文 参考訳(メタデータ) (2023-12-13T18:22:38Z) - Three-Dimensional Medical Image Fusion with Deformable Cross-Attention [10.26573411162757]
マルチモーダル医療画像融合は、医療画像処理のいくつかの領域において重要な役割を担っている。
従来の融合法は、特徴を組み合わせて融合像を再構成する前に、それぞれのモダリティを独立して処理する傾向にある。
本研究では,これらの制限を是正するために設計された,革新的な教師なしの相互学習融合ネットワークを提案する。
論文 参考訳(メタデータ) (2023-10-10T04:10:56Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - Decomposing 3D Neuroimaging into 2+1D Processing for Schizophrenia
Recognition [25.80846093248797]
我々は2+1Dフレームワークで3Dデータを処理し、巨大なImageNetデータセット上に事前トレーニングされた強力な2D畳み込みニューラルネットワーク(CNN)ネットワークを利用して3Dニューロイメージング認識を実現することを提案する。
特に3次元磁気共鳴イメージング(MRI)の計測値は、隣接するボクセル位置に応じて2次元スライスに分解される。
グローバルプーリングは、アクティベーションパターンが機能マップ上にわずかに分散されているため、冗長な情報を除去するために適用される。
2次元CNNモデルにより処理されていない3次元の文脈情報を集約するために,チャネルワイドおよびスライスワイズ畳み込みを提案する。
論文 参考訳(メタデータ) (2022-11-21T15:22:59Z) - Dual Multi-scale Mean Teacher Network for Semi-supervised Infection
Segmentation in Chest CT Volume for COVID-19 [76.51091445670596]
CT(Computed tomography)データから肺感染症を自動的に検出することは、COVID-19と戦う上で重要な役割を担っている。
現在の新型コロナウイルス感染症のセグメンテーションのほとんどは、主に3Dシーケンシャルな制約を欠いた2D CT画像に依存している。
既存の3次元CTセグメンテーション法では,3次元ボリュームにおける複数レベルの受容場サイズを達成できない単一スケールの表現に焦点が当てられている。
論文 参考訳(メタデータ) (2022-11-10T13:11:21Z) - Slice-level Detection of Intracranial Hemorrhage on CT Using Deep
Descriptors of Adjacent Slices [0.31317409221921133]
そこで本研究では,隣接するスライスのディスクリプタに基づいて,CTスキャンでエンフスライスレベルの分類器を訓練する新しい手法を提案する。
我々は、RSNA頭蓋内出血データセットの課題における、最高のパフォーマンスソリューションの上位4%において、単一のモデルを得る。
提案手法は汎用的であり,MRIなどの他の3次元診断タスクにも適用可能である。
論文 参考訳(メタデータ) (2022-08-05T23:20:37Z) - Med-DANet: Dynamic Architecture Network for Efficient Medical Volumetric
Segmentation [13.158995287578316]
我々は,Med-DANetという動的アーキテクチャネットワークを提案し,効率的な精度と効率のトレードオフを実現する。
入力された3次元MRIボリュームのスライス毎に,提案手法は決定ネットワークによってスライス固有の決定を学習する。
提案手法は, 従来の3次元MRI脳腫瘍セグメント化法と比較して, 同等あるいは良好な結果が得られる。
論文 参考訳(メタデータ) (2022-06-14T03:25:58Z) - Two-Stream Graph Convolutional Network for Intra-oral Scanner Image
Segmentation [133.02190910009384]
本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。
TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
論文 参考訳(メタデータ) (2022-04-19T10:41:09Z) - M2Net: Multi-modal Multi-channel Network for Overall Survival Time
Prediction of Brain Tumor Patients [151.4352001822956]
生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。
既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。
我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
論文 参考訳(メタデータ) (2020-06-01T05:21:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。