論文の概要: Complementary Information Mutual Learning for Multimodality Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2401.02717v2
• Date: Wed, 10 Jul 2024 07:07:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 21:59:38.388232
• Title: Complementary Information Mutual Learning for Multimodality Medical Image Segmentation
• Title（参考訳）: 多要素医用画像分割のための補完的情報相互学習
• Authors: Chuyun Shen, Wenhao Li, Haoqing Chen, Xiaoling Wang, Fengping Zhu, Yuxin Li, Xiangfeng Wang, Bo Jin,
• Abstract要約: 本稿では,モーダル間冗長情報の負の影響を数学的にモデル化し,対処する相補的情報相互学習フレームワークを提案する。 数値計算の結果,CIMLはモダリティ間の冗長情報を効率よく除去し,検証精度とセグメンテーション効果に関するSOTA法より優れていることがわかった。
• 参考スコア（独自算出の注目度）: 25.100661341840524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Radiologists must utilize multiple modal images for tumor segmentation and diagnosis due to the limitations of medical imaging and the diversity of tumor signals. This leads to the development of multimodal learning in segmentation. However, the redundancy among modalities creates challenges for existing subtraction-based joint learning methods, such as misjudging the importance of modalities, ignoring specific modal information, and increasing cognitive load. These thorny issues ultimately decrease segmentation accuracy and increase the risk of overfitting. This paper presents the complementary information mutual learning (CIML) framework, which can mathematically model and address the negative impact of inter-modal redundant information. CIML adopts the idea of addition and removes inter-modal redundant information through inductive bias-driven task decomposition and message passing-based redundancy filtering. CIML first decomposes the multimodal segmentation task into multiple subtasks based on expert prior knowledge, minimizing the information dependence between modalities. Furthermore, CIML introduces a scheme in which each modality can extract information from other modalities additively through message passing. To achieve non-redundancy of extracted information, the redundant filtering is transformed into complementary information learning inspired by the variational information bottleneck. The complementary information learning procedure can be efficiently solved by variational inference and cross-modal spatial attention. Numerical results from the verification task and standard benchmarks indicate that CIML efficiently removes redundant information between modalities, outperforming SOTA methods regarding validation accuracy and segmentation effect.
• Abstract（参考訳）: 放射線技師は、医療画像の限界と腫瘍信号の多様性のために、腫瘍のセグメント化と診断に複数のモーダル画像を使用する必要がある。 これはセグメンテーションにおけるマルチモーダル学習の発展に繋がる。 しかし、モダリティ間の冗長性は、モダリティの重要性を誤認したり、特定のモダリティ情報を無視したり、認知負荷を増大させたり、既存のサブトラクションベースのジョイントラーニング手法に課題をもたらす。 これらの厄介な問題は最終的にセグメンテーションの精度を低下させ、オーバーフィッティングのリスクを増大させる。 本稿では,モーダル間冗長情報の負の影響を数学的にモデル化し,対処する相補的情報相互学習(CIML)フレームワークを提案する。 CIMLは追加の概念を採用し、帰納的バイアス駆動型タスク分解とメッセージパッシングに基づく冗長性フィルタリングを通じて、モーダル間冗長情報を除去する。 CIMLは、まず、専門家の事前知識に基づいてマルチモーダルセグメンテーションタスクを複数のサブタスクに分解し、モダリティ間の情報依存を最小限にする。 さらに、CIMLはメッセージパッシングを通じて、各モダリティが他のモダリティから情報を付加的に抽出できるスキームを導入する。 抽出された情報の非冗長性を達成するために、冗長なフィルタリングを変動情報ボトルネックにインスパイアされた相補的な情報学習に変換する。 相補的な情報学習手順は、変分推論とクロスモーダル空間的注意によって効率よく解決できる。 検証タスクと標準ベンチマークの数値結果から、CIMLは効率よくモダリティ間の冗長情報を除去し、検証精度とセグメンテーション効果に関するSOTA法より優れていることが示された。

関連論文リスト

• FORESEE: Multimodal and Multi-view Representation Learning for Robust Prediction of Cancer Survival [3.4686401890974197]
  マルチモーダル情報のマイニングにより患者生存を確実に予測する新しいエンドツーエンドフレームワークFOESEEを提案する。 クロスフュージョントランスフォーマーは、細胞レベル、組織レベル、腫瘍の不均一度レベルの特徴を効果的に利用し、予後を相関させる。 ハイブリットアテンションエンコーダ(HAE)は、コンテキストアテンションモジュールを用いて、コンテキスト関係の特徴を取得する。 また、モダリティ内の損失情報を再構成する非対称マスク型3重マスク型オートエンコーダを提案する。
  論文  参考訳（メタデータ） (2024-05-13T12:39:08Z)
• Masked Contrastive Reconstruction for Cross-modal Medical Image-Report Retrieval [3.5314225883644945]
  クロスモーダル・メディカル・リポート検索は臨床診断や様々な医療生成タスクにおいて重要な役割を担っている。 本稿では,マスク付きデータを両タスクの唯一の入力として利用するMasked Contrastive and Reconstruction (MCR) という効率的なフレームワークを提案する。 これにより、タスク接続が強化され、情報の干渉や競合が軽減されると同時に、必要なGPUメモリとトレーニング時間を大幅に短縮する。
  論文  参考訳（メタデータ） (2023-12-26T01:14:10Z)
• Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement Learning [53.00683059396803]
  マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。 本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。 本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
  論文  参考訳（メタデータ） (2023-10-06T10:40:46Z)
• Learning Cross-modality Information Bottleneck Representation for Heterogeneous Person Re-Identification [61.49219876388174]
  Visible-Infrared person re-identification (VI-ReID)は、インテリジェントビデオ監視において重要かつ困難な課題である。 既存の手法は主に共有特徴空間の学習に重点を置いており、可視光と赤外光の相違を減らす。 本稿では,新しい相互情報・モダリティコンセンサスネットワーク,すなわちCMInfoNetを提案し,モダリティ不変な同一性の特徴を抽出する。
  論文  参考訳（メタデータ） (2023-08-29T06:55:42Z)
• Factorized Contrastive Learning: Going Beyond Multi-view Redundancy [116.25342513407173]
  本稿では,マルチビュー冗長性を超えた新しいマルチモーダル表現学習法であるFacterCLを提案する。 大規模な実世界のデータセットでは、FacterCLは共有情報とユニークな情報の両方をキャプチャし、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-06-08T15:17:04Z)
• CLIP-Driven Fine-grained Text-Image Person Re-identification [50.94827165464813]
  TIReIDは、候補画像のプールから与えられたテキストクエリに対応する画像を取得することを目的としている。 TIReIDにおけるCLIPの強力な知識をフル活用するための,CLIP駆動のきめ細かい情報抽出フレームワーク(CFine)を提案する。
  論文  参考訳（メタデータ） (2022-10-19T03:43:12Z)
• Towards Cross-modality Medical Image Segmentation with Online Mutual Knowledge Distillation [71.89867233426597]
  本稿では,あるモダリティから学習した事前知識を活用し,別のモダリティにおけるセグメンテーション性能を向上させることを目的とする。 モーダル共有知識を徹底的に活用する新しい相互知識蒸留法を提案する。 MMWHS 2017, MMWHS 2017 を用いた多クラス心筋セグメンテーション実験の結果, CT セグメンテーションに大きな改善が得られた。
  論文  参考訳（メタデータ） (2020-10-04T10:25:13Z)
• TCGM: An Information-Theoretic Framework for Semi-Supervised Multi-Modality Learning [35.76792527025377]
  半教師付きマルチモーダル学習のための新しい情報理論アプローチである textbfTotal textbfCorrelation textbfGain textbfMaximization (TCGM) を提案する。 本手法を様々なタスクに適用し,ニュース分類,感情認識,疾患予測など,最先端の成果を達成する。
  論文  参考訳（メタデータ） (2020-07-14T03:32:03Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。