論文の概要: A Tri-attention Fusion Guided Multi-modal Segmentation Network
- arxiv url: http://arxiv.org/abs/2111.01623v1
- Date: Tue, 2 Nov 2021 14:36:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-03 14:41:11.899674
- Title: A Tri-attention Fusion Guided Multi-modal Segmentation Network
- Title（参考訳）: tri-attention fusion 誘導マルチモーダルセグメンテーションネットワーク
- Authors: Tongxue Zhou, Su Ruan, Pierre Vera and St\'ephane Canu
- Abstract要約: 本稿では,新しい三点融合による多モードセグメンテーションネットワークを提案する。
我々のネットワークは、N個の画像ソースを持つN個のモデル非依存の符号化パス、三つのアテンション融合ブロック、二重アテンション融合ブロック、デコードパスを含む。
実験の結果,BraTS 2018データセットを用いて脳腫瘍セグメント化実験を行い,提案手法の有効性を実証した。
- 参考スコア（独自算出の注目度）: 2.867517731896504
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the field of multimodal segmentation, the correlation between different
modalities can be considered for improving the segmentation results.
Considering the correlation between different MR modalities, in this paper, we
propose a multi-modality segmentation network guided by a novel tri-attention
fusion. Our network includes N model-independent encoding paths with N image
sources, a tri-attention fusion block, a dual-attention fusion block, and a
decoding path. The model independent encoding paths can capture
modality-specific features from the N modalities. Considering that not all the
features extracted from the encoders are useful for segmentation, we propose to
use dual attention based fusion to re-weight the features along the modality
and space paths, which can suppress less informative features and emphasize the
useful ones for each modality at different positions. Since there exists a
strong correlation between different modalities, based on the dual attention
fusion block, we propose a correlation attention module to form the
tri-attention fusion block. In the correlation attention module, a correlation
description block is first used to learn the correlation between modalities and
then a constraint based on the correlation is used to guide the network to
learn the latent correlated features which are more relevant for segmentation.
Finally, the obtained fused feature representation is projected by the decoder
to obtain the segmentation results. Our experiment results tested on BraTS 2018
dataset for brain tumor segmentation demonstrate the effectiveness of our
proposed method.
- Abstract（参考訳）: マルチモーダルセグメンテーションの分野では、セグメンテーション結果を改善するために異なるモダリティ間の相関を考えることができる。
本稿では,異なるMRモード間の相関を考慮し,新しい三点融合によって導かれる多モードセグメンテーションネットワークを提案する。
我々のネットワークは、N個の画像ソースを持つN個のモデル非依存の符号化パス、三つのアテンション融合ブロック、二重アテンション融合ブロック、デコードパスを含む。
モデル独立符号化パスは n 個のモダリティからモダリティ特有の特徴をキャプチャすることができる。
エンコーダから抽出された全ての特徴がセグメンテーションに有用であるわけではないことを考慮し、重み付けに基づく融合を用いて、モダリティと空間パスに沿った特徴を再重み付けし、より少ない情報的特徴を抑え、異なる位置における各モダリティに有用な特徴を強調することを提案する。
異なるモダリティの間には強い相関関係が存在するので, 2重注意融合ブロックに基づいて, 3重接触融合ブロックを形成する相関注意モジュールを提案する。
相関注意モジュールでは、まず相関記述ブロックを使用してモダリティ間の相関を学習し、その後、相関に基づく制約を使用してネットワークを誘導し、セグメント化により関連する潜在相関特徴を学習する。
そして、得られた融合特徴表現をデコーダによって投影してセグメンテーション結果を得る。
実験の結果,BraTS 2018データセットを用いて脳腫瘍セグメント化実験を行い,提案手法の有効性を実証した。
関連論文リスト
- A Semantic-Aware and Multi-Guided Network for Infrared-Visible Image Fusion [41.34335755315773]
マルチモダリティ画像融合は、2つのソース画像から特定のモダリティ情報と共有モダリティ情報を融合することを目的としている。
本稿では,3分岐エンコーダデコーダアーキテクチャと,それに対応する融合層を融合戦略として提案する。
可視・近赤外画像融合および医用画像融合タスクにおける最先端手法と比較して,本手法は競争力のある結果を得た。
論文 参考訳（メタデータ） (2024-06-11T09:32:40Z) - DiffVein: A Unified Diffusion Network for Finger Vein Segmentation and
Authentication [50.017055360261665]
DiffVeinは、静脈分割と認証タスクを同時に処理する統合拡散モデルベースのフレームワークである。
これら2つのブランチ間の機能相互作用を改善するために,2つの特別なモジュールを導入する。
このようにして、我々のフレームワークは拡散とセグメンテーションの埋め込みの間の動的相互作用を可能にする。
論文 参考訳（メタデータ） (2024-02-03T06:49:42Z) - Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。
MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
論文 参考訳（メタデータ） (2023-07-19T02:11:19Z) - Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。
具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
論文 参考訳（メタデータ） (2023-05-17T14:30:11Z) - Discriminative Co-Saliency and Background Mining Transformer for
Co-Salient Object Detection [111.04994415248736]
我々は差別的共存とバックグラウンドマイニング・トランスフォーマー・フレームワーク(DMT)を提案する。
我々は2種類の事前定義されたトークンを用いて、コントラスト誘起画素間相関モジュールとコサリエンストークン間相関モジュールを用いて、コサリエンシと背景情報をマイニングする。
3つのベンチマークデータセットの実験結果から,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-04-30T15:56:47Z) - FECANet: Boosting Few-Shot Semantic Segmentation with Feature-Enhanced
Context-Aware Network [48.912196729711624]
Few-shot セマンティックセグメンテーション(Few-shot semantic segmentation)は、新しいクラスの各ピクセルを、わずかに注釈付きサポートイメージで検索するタスクである。
本稿では,クラス間の類似性に起因するマッチングノイズを抑制するために,機能拡張コンテキスト認識ネットワーク(FECANet)を提案する。
さらに,前景と背景の余分な対応関係を符号化する新たな相関再構成モジュールを提案する。
論文 参考訳（メタデータ） (2023-01-19T16:31:13Z) - Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal
Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。
モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文 参考訳（メタデータ） (2021-07-28T23:33:42Z) - 3D Medical Multi-modal Segmentation Network Guided by Multi-source
Correlation Constraint [2.867517731896504]
相関制約付き多モードセグメンテーションネットワークを提案する。
実験の結果,BraTS-2018データセットを用いて脳腫瘍のセグメンテーション実験を行い,本手法の有効性を実証した。
論文 参考訳（メタデータ） (2021-02-05T11:23:12Z) - Brain tumor segmentation with missing modalities via latent multi-source
correlation representation [6.060020806741279]
遅延多ソース相関を特殊に発見するために,新しい相関表現ブロックを提案する。
得られた相関表現のおかげで、モダリティが欠落した場合、セグメンテーションはより堅牢になる。
当社のモデルはBraTS 2018データセット上で評価され、現在の最先端メソッドよりも優れており、1つ以上のモダリティが欠如している場合に堅牢な結果が得られます。
論文 参考訳（メタデータ） (2020-03-19T15:47:36Z) - Bi-Directional Attention for Joint Instance and Semantic Segmentation in
Point Clouds [9.434847591440485]
バックボーンニューラルネットワーク上にバイディレクショナル・アテンション・モジュールを構築し、3Dポイント・クラウド・インセプションを実現する。
これは、あるタスクの特徴から測定された類似度行列を使用して、他のタスクの非ローカル情報を集約する。
S3DISデータセットとPartNetデータセットに関する総合実験とアブレーション研究から,本手法の優位性を検証した。
論文 参考訳（メタデータ） (2020-03-11T17:16:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。