論文の概要: Are you SURE? Enhancing Multimodal Pretraining with Missing Modalities through Uncertainty Estimation

• arxiv url: http://arxiv.org/abs/2504.13465v1
• Date: Fri, 18 Apr 2025 05:07:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 19:12:20.581273
• Title: Are you SURE? Enhancing Multimodal Pretraining with Missing Modalities through Uncertainty Estimation
• Title（参考訳）: 残念か?不確実性推定によるマルチモーダル事前訓練の実施
• Authors: Duy A. Nguyen, Quan Huu Do, Khoa D. Doan, Minh N. Do,
• Abstract要約: 我々は、遅延空間再構成と不確実性推定を導入して、事前訓練されたマルチモーダルモデルの能力を拡張した新しいフレームワークSUREを提案する。 SuREは、不完全なデータが存在する場合でも、常に最先端のパフォーマンスを達成し、堅牢な予測を確実にすることを示す。
• 参考スコア（独自算出の注目度）: 12.459901557580052
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal learning has demonstrated incredible successes by integrating diverse data sources, yet it often relies on the availability of all modalities - an assumption that rarely holds in real-world applications. Pretrained multimodal models, while effective, struggle when confronted with small-scale and incomplete datasets (i.e., missing modalities), limiting their practical applicability. Previous studies on reconstructing missing modalities have overlooked the reconstruction's potential unreliability, which could compromise the quality of the final outputs. We present SURE (Scalable Uncertainty and Reconstruction Estimation), a novel framework that extends the capabilities of pretrained multimodal models by introducing latent space reconstruction and uncertainty estimation for both reconstructed modalities and downstream tasks. Our method is architecture-agnostic, reconstructs missing modalities, and delivers reliable uncertainty estimates, improving both interpretability and performance. SURE introduces a unique Pearson Correlation-based loss and applies statistical error propagation in deep networks for the first time, allowing precise quantification of uncertainties from missing data and model predictions. Extensive experiments across tasks such as sentiment analysis, genre classification, and action recognition show that SURE consistently achieves state-of-the-art performance, ensuring robust predictions even in the presence of incomplete data.
• Abstract（参考訳）: 多様なデータソースを統合することで、マルチモーダル学習は驚くべき成功を収めた。 事前訓練されたマルチモーダルモデルは、有効ではあるが、小規模で不完全なデータセット(つまり、モダリティの欠如)に直面した時に苦労し、実用性を制限する。 失われたモダリティの再構築に関する以前の研究は、再建の潜在的な信頼性の欠如を見落としており、最終的な成果の質を損なう可能性がある。 提案するSURE(Scalable Uncertainity and Restruction Estimation)は,遅延空間再構成と不確実性推定を導入することで,事前学習型マルチモーダルモデルの能力を拡張する新しいフレームワークである。 提案手法はアーキテクチャに依存しず,欠落したモダリティを再構築し,信頼性の高い不確実性推定を行い,解釈可能性と性能を両立させる。 SUREは、独自のピアソン相関に基づく損失を導入し、ディープネットワークで初めて統計的エラー伝搬を適用し、不確実性の正確な定量化とモデル予測を可能にした。 感情分析、ジャンル分類、行動認識などのタスクにわたる広範囲にわたる実験は、SUREが一貫して最先端のパフォーマンスを達成し、不完全なデータが存在する場合でも堅牢な予測を確実にすることを示している。

関連論文リスト

• Predictive Multiplicity in Survival Models: A Method for Quantifying Model Uncertainty in Predictive Maintenance Applications [0.0]
  我々は、生存に基づくモデルにおいて、予測的乗法が重要な関心事であると考えている。 あいまいさ、不明瞭さ、不明瞭さという形式的な尺度を導入し、それを定量化します。 これは特にメンテナンススケジューリングなどの下流タスクに関係している。
  論文  参考訳（メタデータ） (2025-04-16T15:04:00Z)
• Global Convergence of Continual Learning on Non-IID Data [51.99584235667152]
  回帰モデルの連続学習のための総合的・包括的理論的解析を行う。 一般データ条件下で連続学習のほぼ確実に収束する結果を初めて確立する。
  論文  参考訳（メタデータ） (2025-03-24T10:06:07Z)
• Reducing Aleatoric and Epistemic Uncertainty through Multi-modal Data Acquisition [5.468547489755107]
  本稿では,不確実性不整合が行動可能な決定を導く,革新的なデータ取得フレームワークを提案する。 主な仮説は、モダリティの数が増加するにつれてアレタリック不確かさが減少するということである。 データ取得フレームワークを紹介するために、2つのマルチモーダルデータセット上で概念実証実装を提供する。
  論文  参考訳（メタデータ） (2025-01-30T11:05:59Z)
• Uncertainty Quantification via Hölder Divergence for Multi-View Representation Learning [18.076966572539547]
  本稿では,H"older Divergence (HD)に基づく新しいアルゴリズムを導入し,多視点学習の信頼性を高める。 デンプスター・シェーファー理論を通じて、異なるモダリティからの不確実性の統合により、包括的な結果が生成される。 数学的には、HDは実際のデータ分布とモデルの予測分布の間の距離'をよりよく測定できることを証明している。
  論文  参考訳（メタデータ） (2024-10-29T04:29:44Z)
• Missing Modality Prediction for Unpaired Multimodal Learning via Joint Embedding of Unimodal Models [6.610033827647869]
  実世界のシナリオでは、完全なマルチモーダルデータを一貫して取得することは重大な課題である。 これはしばしば、特定のモダリティのデータが欠落しているモダリティの問題につながる。 自己教師型共同埋め込み学習手法を用いて, パラメータ効率のよい未学習モデルの微調整を行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-17T14:44:25Z)
• Estimating Epistemic and Aleatoric Uncertainty with a Single Model [5.871583927216653]
  我々は,ハイパー拡散モデル(HyperDM)の新しいアプローチを提案する。 HyperDMは、予測精度を、場合によってはマルチモデルアンサンブルに匹敵する。 我々は,X線CTと気象温度予測の2つの異なる実世界の課題に対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-02-05T19:39:52Z)
• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。