論文の概要: Incomplete Modality Disentangled Representation for Ophthalmic Disease Grading and Diagnosis

• arxiv url: http://arxiv.org/abs/2502.11724v1
• Date: Mon, 17 Feb 2025 12:10:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:10:38.159424
• Title: Incomplete Modality Disentangled Representation for Ophthalmic Disease Grading and Diagnosis
• Title（参考訳）: 眼疾患の鑑別と診断のための不完全モダリティディスタングル表現法
• Authors: Chengzhi Liu, Zile Huang, Zhe Chen, Feilong Tang, Yu Tian, Zhongxing Xu, Zihong Luo, Yalin Zheng, Yanda Meng,
• Abstract要約: 本稿では,不完全なモダリティ・ディアンタングル表現(IMDR)戦略を提案する。 4つのマルチモーダルデータセットの実験により、提案したIMDRが最先端の手法を大幅に上回ることを示した。
• 参考スコア（独自算出の注目度）: 16.95583564875497
• License:
• Abstract: Ophthalmologists typically require multimodal data sources to improve diagnostic accuracy in clinical decisions. However, due to medical device shortages, low-quality data and data privacy concerns, missing data modalities are common in real-world scenarios. Existing deep learning methods tend to address it by learning an implicit latent subspace representation for different modality combinations. We identify two significant limitations of these methods: (1) implicit representation constraints that hinder the model's ability to capture modality-specific information and (2) modality heterogeneity, causing distribution gaps and redundancy in feature representations. To address these, we propose an Incomplete Modality Disentangled Representation (IMDR) strategy, which disentangles features into explicit independent modal-common and modal-specific features by guidance of mutual information, distilling informative knowledge and enabling it to reconstruct valuable missing semantics and produce robust multimodal representations. Furthermore, we introduce a joint proxy learning module that assists IMDR in eliminating intra-modality redundancy by exploiting the extracted proxies from each class. Experiments on four ophthalmology multimodal datasets demonstrate that the proposed IMDR outperforms the state-of-the-art methods significantly.
• Abstract（参考訳）: 眼科医は通常、臨床診断における診断精度を改善するためにマルチモーダルデータソースを必要とする。 しかし、医療機器の不足、低品質のデータとデータプライバシの懸念により、現実のシナリオではデータモダリティの欠如が一般的である。 既存のディープラーニング手法は、異なるモダリティの組み合わせに対して暗黙の潜在部分空間表現を学習することで、この問題に対処する傾向がある。 1) モデルがモダリティ固有情報をキャプチャする能力を阻害する暗黙の表現制約と,(2) モダリティの不均一性により,特徴表現における分布ギャップと冗長性が発生する。 そこで本研究では,不完全なモダリティ・ディアンタングル表現(IMDR)戦略を提案する。この戦略は,特徴を相互情報の指導,情報的知識の蒸留,重要でない意味の再構築,堅牢なマルチモーダル表現の創出によって,明示的な独立なモダリティ・モダリティ・コモン・モダリティ特徴に分解するものである。 さらに,各クラスから抽出したプロキシを活用することで,IMDRによるモダリティ内冗長性の解消を支援する共同プロキシ学習モジュールを提案する。 4つの眼科マルチモーダルデータセットの実験により、提案したIMDRが最先端の手法を大幅に上回っていることが示された。

関連論文リスト

• Mutual Information-based Representations Disentanglement for Unaligned Multimodal Language Sequences [25.73415065546444]
  不整合多モーダル言語列の鍵となる課題は、様々なモーダルからの情報を統合して洗練された多モーダル関節表現を得ることである。 非整合多モーダル言語系列に対する相互情報に基づく表現不整合(MIRD)手法を提案する。
  論文  参考訳（メタデータ） (2024-09-19T02:12:26Z)
• Prototypical Information Bottlenecking and Disentangling for Multimodal Cancer Survival Prediction [7.772854118416362]
  マルチモーダル学習は癌生存予測に大きく貢献する。 マルチモーダルデータにおける大規模な冗長性は、識別的かつコンパクトな情報を抽出することを防ぐ。 本稿では,新しいフレームワークであるプロトタイプ型インフォメーション・ブートネックとディペンタングを提案する。
  論文  参考訳（メタデータ） (2024-01-03T09:39:36Z)
• Multimodal Explainability via Latent Shift applied to COVID-19 stratification [0.7831774233149619]
  本稿では,モダリティの再構築とサンプル分類を共同で学習するディープアーキテクチャを提案する。 AIforCOVIDデータセットを使用して、COVID-19パンデミックの文脈でのアプローチを検証する。
  論文  参考訳（メタデータ） (2022-12-28T20:07:43Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• MMLN: Leveraging Domain Knowledge for Multimodal Diagnosis [10.133715767542386]
  肺疾患診断のための知識駆動型およびデータ駆動型フレームワークを提案する。 本研究は, 臨床医学ガイドラインに従って診断規則を定式化し, テキストデータから規則の重みを学習する。 テキストと画像データからなるマルチモーダル融合は、肺疾患の限界確率を推定するために設計されている。
  論文  参考訳（メタデータ） (2022-02-09T04:12:30Z)
• Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
  我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。 モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。 提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2021-12-13T08:58:03Z)
• ACN: Adversarial Co-training Network for Brain Tumor Segmentation with Missing Modalities [26.394130795896704]
  本稿では,この問題を解決するために,新たにACN(Adversarial Co-Training Network)を提案する。 ACNは、相互のドメインを補うために、完全なモダリティと欠落したモダリティの両方に複合的な学習プロセスを可能にする。 提案手法は, 欠落した状況下において, 全ての最先端手法を著しく上回っている。
  論文  参考訳（メタデータ） (2021-06-28T11:53:11Z)
• Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
  マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。 共通情報と相補情報の両方を敵意で抽出することを目的としている。 特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
  論文  参考訳（メタデータ） (2021-02-15T18:46:44Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)
• MS-Net: Multi-Site Network for Improving Prostate Segmentation with Heterogeneous MRI Data [75.73881040581767]
  本稿では,ロバスト表現を学習し,前立腺のセグメンテーションを改善するための新しいマルチサイトネットワーク(MS-Net)を提案する。 当社のMS-Netは,すべてのデータセットのパフォーマンスを一貫して改善し,マルチサイト学習における最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-02-09T14:11:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。