論文の概要: Uncertainty-aware Multi-modal Learning via Cross-modal Random Network Prediction

• arxiv url: http://arxiv.org/abs/2207.10851v1
• Date: Fri, 22 Jul 2022 03:00:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-25 12:45:10.113653
• Title: Uncertainty-aware Multi-modal Learning via Cross-modal Random Network Prediction
• Title（参考訳）: クロスモーダルランダムネットワーク予測による不確実性を考慮したマルチモーダル学習
• Authors: Hu Wang, Jianpeng Zhang, Yuanhong Chen, Congbo Ma, Jodie Avery, Louise Hull, Gustavo Carneiro
• Abstract要約: クロスモーダルランダムネットワーク予測(CRNP)による特徴密度の測定により不確かさを推定する不確実性認識型マルチモーダル学習器を提案する。 CRNPは、安定したトレーニングプロセスを持ちながら、異なる予測タスク間の変換にほとんど適応を必要としないように設計されている。
• 参考スコア（独自算出の注目度）: 22.786774541083652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal learning focuses on training models by equally combining multiple input data modalities during the prediction process. However, this equal combination can be detrimental to the prediction accuracy because different modalities are usually accompanied by varying levels of uncertainty. Using such uncertainty to combine modalities has been studied by a couple of approaches, but with limited success because these approaches are either designed to deal with specific classification or segmentation problems and cannot be easily translated into other tasks, or suffer from numerical instabilities. In this paper, we propose a new Uncertainty-aware Multi-modal Learner that estimates uncertainty by measuring feature density via Cross-modal Random Network Prediction (CRNP). CRNP is designed to require little adaptation to translate between different prediction tasks, while having a stable training process. From a technical point of view, CRNP is the first approach to explore random network prediction to estimate uncertainty and to combine multi-modal data. Experiments on two 3D multi-modal medical image segmentation tasks and three 2D multi-modal computer vision classification tasks show the effectiveness, adaptability and robustness of CRNP. Also, we provide an extensive discussion on different fusion functions and visualization to validate the proposed model.
• Abstract（参考訳）: マルチモーダル学習は、予測プロセス中に複数の入力データモダリティを等しく組み合わせてトレーニングモデルにフォーカスする。 しかし、この等しい組み合わせは、様々なモダリティが通常、様々な不確実性のレベルを伴っているため、予測精度を損なう可能性がある。 このような不確実性を利用してモダリティを組み合わせる方法はいくつか研究されているが、これらの手法は特定の分類やセグメンテーションの問題に対処するように設計されており、他のタスクに容易に翻訳できないか、数値的な不安定さに悩まされているため、成功は限られている。 本稿では,クロスモーダルランダムネットワーク予測(CRNP)による特徴密度の測定により不確かさを推定する不確実性認識型マルチモーダル学習器を提案する。 CRNPは、安定したトレーニングプロセスを持ちながら、異なる予測タスク間の変換にほとんど適応を必要としないように設計されている。 技術的観点からは、不確かさを推定し、マルチモーダルデータを結合するためにランダムネットワーク予測を探索する最初のアプローチである。 2つの3次元マルチモーダル医用画像分割タスクと3つの2次元マルチモーダルコンピュータビジョン分類タスクの実験は、CRNPの有効性、適応性、堅牢性を示している。 また,提案モデルを検証するために,異なる融合関数と可視化について広範な議論を行う。

関連論文リスト

• Confidence-aware multi-modality learning for eye disease screening [58.861421804458395]
  眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインを提案する。 モダリティごとに信頼度を測り、マルチモダリティ情報をエレガントに統合する。 パブリックデータセットと内部データセットの両方の実験結果は、我々のモデルが堅牢性に優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-28T13:27:30Z)
• Calibrating Multimodal Learning [94.65232214643436]
  本稿では,従来の手法の予測信頼性を校正するために,新たな正規化手法であるCML(Callibrating Multimodal Learning)正則化を提案する。 この技術は、既存のモデルによって柔軟に装備され、信頼性校正、分類精度、モデルロバスト性の観点から性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-06-02T04:29:57Z)
• Channel Exchanging Networks for Multimodal and Multitask Dense Image Prediction [125.18248926508045]
  本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。 CENは異なるモダリティのワーク間でチャネルを動的に交換する。 濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
  論文  参考訳（メタデータ） (2021-12-04T05:47:54Z)
• Randomized ReLU Activation for Uncertainty Estimation of Deep Neural Networks [8.541875999755593]
  ディープニューラルネットワーク(DNN)は、様々なタスクで有用なデータ表現をうまく学習している。 Deep Ensembleは、不確実性推定のための最先端の手法として広く考えられているが、トレーニングとテストは非常に高価である。 我々はRandomized ReLU Activationフレームワークを導入し、より多様な予測を少ない時間で得られるようにする。
  論文  参考訳（メタデータ） (2021-07-15T08:54:41Z)
• Multivariate Deep Evidential Regression [77.34726150561087]
  不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。 本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
  論文  参考訳（メタデータ） (2021-04-13T12:20:18Z)
• Multi-Loss Sub-Ensembles for Accurate Classification with Uncertainty Estimation [1.2891210250935146]
  本稿では,ディープニューラルネットワーク(DNN)の高精度な不確実性推定手法を提案する。 我々は,Deep-Sub-Ensembles法によって提案される利点を利用して,推定時間を比較的低く保つ。 その結果,いくつかの不確実性対策における分類課題と競争結果の精度が向上した。
  論文  参考訳（メタデータ） (2020-10-05T10:59:11Z)
• M2Net: Multi-modal Multi-channel Network for Overall Survival Time Prediction of Brain Tumor Patients [151.4352001822956]
  生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。 既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。 我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
  論文  参考訳（メタデータ） (2020-06-01T05:21:37Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• Uncertainty Estimation for End-To-End Learned Dense Stereo Matching via Probabilistic Deep Learning [0.0]
  重極補正ステレオ画像対からの結合深さと不確実性推定のタスクに対して,新しい確率的ニューラルネットワークを提案する。 ネットワークは、予測毎にパラメータがサンプリングされる確率分布を学習する。 推定深度と不確実性情報の質を3つの異なるデータセットで広範囲に評価する。
  論文  参考訳（メタデータ） (2020-02-10T11:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。