論文の概要: Confidence-aware multi-modality learning for eye disease screening

• arxiv url: http://arxiv.org/abs/2405.18167v1
• Date: Tue, 28 May 2024 13:27:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 18:29:23.880067
• Title: Confidence-aware multi-modality learning for eye disease screening
• Title（参考訳）: 眼疾患スクリーニングのための信頼度を考慮したマルチモーダリティ学習
• Authors: Ke Zou, Tian Lin, Zongbo Han, Meng Wang, Xuedong Yuan, Haoyu Chen, Changqing Zhang, Xiaojing Shen, Huazhu Fu,
• Abstract要約: 眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインを提案する。 モダリティごとに信頼度を測り、マルチモダリティ情報をエレガントに統合する。 パブリックデータセットと内部データセットの両方の実験結果は、我々のモデルが堅牢性に優れていることを示している。
• 参考スコア（独自算出の注目度）: 58.861421804458395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal ophthalmic image classification plays a key role in diagnosing eye diseases, as it integrates information from different sources to complement their respective performances. However, recent improvements have mainly focused on accuracy, often neglecting the importance of confidence and robustness in predictions for diverse modalities. In this study, we propose a novel multi-modality evidential fusion pipeline for eye disease screening. It provides a measure of confidence for each modality and elegantly integrates the multi-modality information using a multi-distribution fusion perspective. Specifically, our method first utilizes normal inverse gamma prior distributions over pre-trained models to learn both aleatoric and epistemic uncertainty for uni-modality. Then, the normal inverse gamma distribution is analyzed as the Student's t distribution. Furthermore, within a confidence-aware fusion framework, we propose a mixture of Student's t distributions to effectively integrate different modalities, imparting the model with heavy-tailed properties and enhancing its robustness and reliability. More importantly, the confidence-aware multi-modality ranking regularization term induces the model to more reasonably rank the noisy single-modal and fused-modal confidence, leading to improved reliability and accuracy. Experimental results on both public and internal datasets demonstrate that our model excels in robustness, particularly in challenging scenarios involving Gaussian noise and modality missing conditions. Moreover, our model exhibits strong generalization capabilities to out-of-distribution data, underscoring its potential as a promising solution for multimodal eye disease screening.
• Abstract（参考訳）: マルチモーダル眼科画像分類は眼疾患の診断において重要な役割を担っている。 しかし、最近の改良は主に精度に重点を置いており、様々なモダリティの予測において、信頼性と堅牢性の重要性を無視することが多い。 本研究では,眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインを提案する。 モーダリティごとに信頼度を測り、マルチディストリビューション・フュージョン・パースペクティブを用いてマルチモーダリティ情報をエレガントに統合する。 具体的には、まず、事前訓練されたモデル上での通常の逆ガンマ事前分布を用いて、ユニモーダルのアレタリックおよびエピステマティックな不確かさを学習する。 そして、通常の逆ガンマ分布を学生のt分布として解析する。 さらに, 信頼度を考慮した融合フレームワークにおいて, 生徒のt分布の混合により, 異なるモダリティを効果的に統合し, モデルに重み付き特性を付与し, その堅牢性と信頼性を高めることを提案する。 さらに重要なことは、信頼を意識したマルチモダリティランキング正規化項は、ノイズの多い単一モダリティーと融合モダリティーの信頼性をより合理的にランク付けし、信頼性と精度を向上させる。 特にガウスノイズやモダリティの欠如を伴う難解なシナリオにおいて,我々のモデルは頑健性に優れることを示した。 さらに,本モデルでは,マルチモーダル眼疾患検診における有望な解決策としての可能性を示すとともに,アウト・オブ・ディストリビューションデータに対する強力な一般化能力を示す。

関連論文リスト

• M2EF-NNs: Multimodal Multi-instance Evidence Fusion Neural Networks for Cancer Survival Prediction [24.323961146023358]
  本稿では,M2EF-NNと呼ばれるニューラルネットワークモデルを提案する。 画像中のグローバル情報をキャプチャするために、事前訓練された視覚変換器(ViT)モデルを用いる。 Dempster-Shaferエビデンス理論(DST)を癌生存予測に適用した最初の例である。
  論文  参考訳（メタデータ） (2024-08-08T02:31:04Z)
• Integrating Large Pre-trained Models into Multimodal Named Entity Recognition with Evidential Fusion [31.234455370113075]
  本稿では,MNERタスクに不確実性推定を取り入れ,信頼に値する予測を生成することを提案する。 提案アルゴリズムは,各モードの分布を正規逆ガンマ分布としてモデル化し,それらを統一分布に融合する。 2つのデータセットの実験により,提案手法がベースラインを上回り,新しい最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:50:23Z)
• Calibrating Multimodal Learning [94.65232214643436]
  本稿では,従来の手法の予測信頼性を校正するために,新たな正規化手法であるCML(Callibrating Multimodal Learning)正則化を提案する。 この技術は、既存のモデルによって柔軟に装備され、信頼性校正、分類精度、モデルロバスト性の観点から性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-06-02T04:29:57Z)
• Reliable Multimodality Eye Disease Screening via Mixture of Student's t Distributions [49.4545260500952]
  眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインEyeMoStについて紹介する。 本モデルでは,一様性に対する局所的不確実性と融合モードに対する大域的不確実性の両方を推定し,信頼性の高い分類結果を生成する。 パブリックデータセットと社内データセットの両方に関する実験結果から、我々のモデルは現在の手法よりも信頼性が高いことが判明した。
  論文  参考訳（メタデータ） (2023-03-17T06:18:16Z)
• Trusted Multi-View Classification with Dynamic Evidential Fusion [73.35990456162745]
  信頼型マルチビュー分類(TMC)と呼ばれる新しいマルチビュー分類アルゴリズムを提案する。 TMCは、様々な視点をエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。 理論的および実験的結果は、精度、堅牢性、信頼性において提案されたモデルの有効性を検証した。
  論文  参考訳（メタデータ） (2022-04-25T03:48:49Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Trusted Multi-View Classification [76.73585034192894]
  本稿では,信頼された多視点分類と呼ばれる新しい多視点分類手法を提案する。 さまざまなビューをエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。 提案アルゴリズムは,分類信頼性とロバスト性の両方を促進するために,複数のビューを併用する。
  論文  参考訳（メタデータ） (2021-02-03T13:30:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。