論文の概要: Complementary Information Mutual Learning for Multimodality Medical
Image Segmentation
- arxiv url: http://arxiv.org/abs/2401.02717v1
- Date: Fri, 5 Jan 2024 09:21:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-08 15:30:37.756086
- Title: Complementary Information Mutual Learning for Multimodality Medical
Image Segmentation
- Title(参考訳): 多要素医用画像分割のための補完情報相互学習
- Authors: Chuyun Shen and Wenhao Li and Haoqing Chen and Xiaoling Wang and
Fengping Zhu and Yuxin Li and Xiangfeng Wang and Bo Jin
- Abstract要約: 本稿では,モーダル間冗長情報の負の影響を数学的にモデル化し,対処する相補的情報相互学習フレームワークを提案する。
数値計算の結果,CIMLはモダリティ間の冗長情報を効率よく除去し,検証精度とセグメンテーション効果に関するSOTA法より優れていることがわかった。
- 参考スコア(独自算出の注目度): 26.181752000443172
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Radiologists must utilize multiple modal images for tumor segmentation and
diagnosis due to the limitations of medical imaging and the diversity of tumor
signals. This leads to the development of multimodal learning in segmentation.
However, the redundancy among modalities creates challenges for existing
subtraction-based joint learning methods, such as misjudging the importance of
modalities, ignoring specific modal information, and increasing cognitive load.
These thorny issues ultimately decrease segmentation accuracy and increase the
risk of overfitting. This paper presents the complementary information mutual
learning (CIML) framework, which can mathematically model and address the
negative impact of inter-modal redundant information. CIML adopts the idea of
addition and removes inter-modal redundant information through inductive
bias-driven task decomposition and message passing-based redundancy filtering.
CIML first decomposes the multimodal segmentation task into multiple subtasks
based on expert prior knowledge, minimizing the information dependence between
modalities. Furthermore, CIML introduces a scheme in which each modality can
extract information from other modalities additively through message passing.
To achieve non-redundancy of extracted information, the redundant filtering is
transformed into complementary information learning inspired by the variational
information bottleneck. The complementary information learning procedure can be
efficiently solved by variational inference and cross-modal spatial attention.
Numerical results from the verification task and standard benchmarks indicate
that CIML efficiently removes redundant information between modalities,
outperforming SOTA methods regarding validation accuracy and segmentation
effect.
- Abstract(参考訳): 放射線科医は、医用画像の限界と腫瘍信号の多様性のために、腫瘍の分割と診断に複数のモード画像を使用する必要がある。
これはセグメンテーションにおけるマルチモーダル学習の発展に繋がる。
しかし、モダリティ間の冗長性は、モダリティの重要性を誤認し、特定のモダリティ情報を無視し、認知負荷を増加させるなど、既存の減算に基づく共同学習方法の課題を生み出している。
これらの厄介な問題は最終的にセグメンテーションの精度を低下させ、オーバーフィッティングのリスクを増大させる。
本稿では,モーダル間冗長情報の負の影響を数学的にモデル化し,対処する相補的情報相互学習(CIML)フレームワークを提案する。
CIMLは追加の概念を採用し、帰納的バイアス駆動型タスク分解とメッセージパッシングに基づく冗長性フィルタリングを通じて、モーダル間冗長情報を除去する。
CIMLはまず、専門知識に基づいてマルチモーダルセグメンテーションタスクを複数のサブタスクに分解し、モダリティ間の情報依存を最小限にする。
さらに、CIMLはメッセージパッシングを通じて、各モダリティが他のモダリティから情報を付加的に抽出できるスキームを導入する。
抽出された情報の非冗長性を達成するために、冗長なフィルタリングを変動情報ボトルネックにインスパイアされた相補的な情報学習に変換する。
相補的な情報学習手順は、変分推論とクロスモーダル空間的注意によって効率よく解決できる。
検証タスクと標準ベンチマークによる数値的な結果から,cimlはモダリティ間の冗長な情報を効率的に除去し,検証精度とセグメンテーション効果に関するsoma法を上回った。
関連論文リスト
- Masked Contrastive Reconstruction for Cross-modal Medical Image-Report
Retrieval [3.5314225883644945]
クロスモーダル・メディカル・リポート検索は臨床診断や様々な医療生成タスクにおいて重要な役割を担っている。
本稿では,マスク付きデータを両タスクの唯一の入力として利用するMasked Contrastive and Reconstruction (MCR) という効率的なフレームワークを提案する。
これにより、タスク接続が強化され、情報の干渉や競合が軽減されると同時に、必要なGPUメモリとトレーニング時間を大幅に短縮する。
論文 参考訳(メタデータ) (2023-12-26T01:14:10Z) - Dynamic Multimodal Information Bottleneck for Multimodality
Classification [26.65073424377933]
本稿では,頑健な融合特徴表現を実現するための動的マルチモーダル情報ボトルネックフレームワークを提案する。
具体的には、情報ボトルネックモジュールは、融合機能におけるタスク関連情報やノイズをフィルタリングするのに役立ちます。
提案手法は最先端の手法を超越し, 大規模ノイズチャネルが存在する場合, 性能を維持できる唯一の手法である。
論文 参考訳(メタデータ) (2023-11-02T08:34:08Z) - Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement
Learning [53.00683059396803]
マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。
本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。
本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
論文 参考訳(メタデータ) (2023-10-06T10:40:46Z) - Learning Cross-modality Information Bottleneck Representation for
Heterogeneous Person Re-Identification [61.49219876388174]
Visible-Infrared person re-identification (VI-ReID)は、インテリジェントビデオ監視において重要かつ困難な課題である。
既存の手法は主に共有特徴空間の学習に重点を置いており、可視光と赤外光の相違を減らす。
本稿では,新しい相互情報・モダリティコンセンサスネットワーク,すなわちCMInfoNetを提案し,モダリティ不変な同一性の特徴を抽出する。
論文 参考訳(メタデータ) (2023-08-29T06:55:42Z) - Factorized Contrastive Learning: Going Beyond Multi-view Redundancy [116.25342513407173]
本稿では,マルチビュー冗長性を超えた新しいマルチモーダル表現学習法であるFacterCLを提案する。
大規模な実世界のデータセットでは、FacterCLは共有情報とユニークな情報の両方をキャプチャし、最先端の結果を達成する。
論文 参考訳(メタデータ) (2023-06-08T15:17:04Z) - CLIP-Driven Fine-grained Text-Image Person Re-identification [50.94827165464813]
TIReIDは、候補画像のプールから与えられたテキストクエリに対応する画像を取得することを目的としている。
TIReIDにおけるCLIPの強力な知識をフル活用するための,CLIP駆動のきめ細かい情報抽出フレームワーク(CFine)を提案する。
論文 参考訳(メタデータ) (2022-10-19T03:43:12Z) - Towards Cross-modality Medical Image Segmentation with Online Mutual
Knowledge Distillation [71.89867233426597]
本稿では,あるモダリティから学習した事前知識を活用し,別のモダリティにおけるセグメンテーション性能を向上させることを目的とする。
モーダル共有知識を徹底的に活用する新しい相互知識蒸留法を提案する。
MMWHS 2017, MMWHS 2017 を用いた多クラス心筋セグメンテーション実験の結果, CT セグメンテーションに大きな改善が得られた。
論文 参考訳(メタデータ) (2020-10-04T10:25:13Z) - TCGM: An Information-Theoretic Framework for Semi-Supervised
Multi-Modality Learning [35.76792527025377]
半教師付きマルチモーダル学習のための新しい情報理論アプローチである textbfTotal textbfCorrelation textbfGain textbfMaximization (TCGM) を提案する。
本手法を様々なタスクに適用し,ニュース分類,感情認識,疾患予測など,最先端の成果を達成する。
論文 参考訳(メタデータ) (2020-07-14T03:32:03Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳(メタデータ) (2020-02-22T14:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。