論文の概要: ICYM2I: The illusion of multimodal informativeness under missingness

• arxiv url: http://arxiv.org/abs/2505.16953v1
• Date: Thu, 22 May 2025 17:34:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.508043
• Title: ICYM2I: The illusion of multimodal informativeness under missingness
• Title（参考訳）: ICYM2I : 欠失下におけるマルチモーダル情報化の錯覚
• Authors: Young Sang Choi, Vincent Jeanselme, Pierre Elias, Shalmali Joshi,
• Abstract要約: ICYM2I(ICYM2I)を導入する。 本研究は,合成,半合成,実世界の医療データセットに欠落した情報獲得を推定するために提案した調整の重要性を実証する。
• 参考スコア（独自算出の注目度）: 3.975003897287838
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal learning is of continued interest in artificial intelligence-based applications, motivated by the potential information gain from combining different types of data. However, modalities collected and curated during development may differ from the modalities available at deployment due to multiple factors including cost, hardware failure, or -- as we argue in this work -- the perceived informativeness of a given modality. Na{\"i}ve estimation of the information gain associated with including an additional modality without accounting for missingness may result in improper estimates of that modality's value in downstream tasks. Our work formalizes the problem of missingness in multimodal learning and demonstrates the biases resulting from ignoring this process. To address this issue, we introduce ICYM2I (In Case You Multimodal Missed It), a framework for the evaluation of predictive performance and information gain under missingness through inverse probability weighting-based correction. We demonstrate the importance of the proposed adjustment to estimate information gain under missingness on synthetic, semi-synthetic, and real-world medical datasets.
• Abstract（参考訳）: マルチモーダル学習は、さまざまな種類のデータを組み合わせることによって得られる潜在的な情報によって動機づけられた、人工知能ベースのアプリケーションに引き続き関心を寄せている。 しかしながら、開発期間中に収集され、キュレートされたモダリティは、コスト、ハードウェアの失敗、あるいは、この研究で議論されているように、与えられたモダリティの認知的な情報性など、デプロイ時に利用できるモダリティとは異なる場合がある。 Na{\"i} 不足を考慮せずに追加のモダリティを含む情報ゲインを推定すると、下流タスクにおけるモダリティの価値を不適切に見積もることができる。 本研究は,マルチモーダル学習における欠落問題を形式化し,このプロセスを無視した結果のバイアスを実証する。 ICYM2I (In Case You Multimodal Missed It) は,逆確率重み付けに基づく補正により,不備下での予測性能と情報ゲインを評価するためのフレームワークである。 本研究は,合成,半合成,実世界の医療データセットに欠落した情報獲得を推定するために提案した調整の重要性を実証する。

関連論文リスト

• The Multimodal Paradox: How Added and Missing Modalities Shape Bias and Performance in Multimodal AI [0.0]
  マルチモーダル学習は、高い意思決定において、単調な学習よりも優れていることが証明されている。 パフォーマンス向上は、マルチモーダルシステムを評価するためのゴールドスタンダードのままだが、バイアスやロバスト性に関する懸念はしばしば見過ごされている。
  論文  参考訳（メタデータ） (2025-05-05T20:42:44Z)
• Are you SURE? Enhancing Multimodal Pretraining with Missing Modalities through Uncertainty Estimation [12.459901557580052]
  我々は、遅延空間再構成と不確実性推定を導入して、事前訓練されたマルチモーダルモデルの能力を拡張した新しいフレームワークSUREを提案する。 SuREは、不完全なデータが存在する場合でも、常に最先端のパフォーマンスを達成し、堅牢な予測を確実にすることを示す。
  論文  参考訳（メタデータ） (2025-04-18T05:07:20Z)
• Reducing Aleatoric and Epistemic Uncertainty through Multi-modal Data Acquisition [5.468547489755107]
  本稿では,不確実性不整合が行動可能な決定を導く,革新的なデータ取得フレームワークを提案する。 主な仮説は、モダリティの数が増加するにつれてアレタリック不確かさが減少するということである。 データ取得フレームワークを紹介するために、2つのマルチモーダルデータセット上で概念実証実装を提供する。
  論文  参考訳（メタデータ） (2025-01-30T11:05:59Z)
• Borrowing Treasures from Neighbors: In-Context Learning for Multimodal Learning with Missing Modalities and Data Scarcity [9.811378971225727]
  本稿では、欠落したモダリティに関する現在の研究を低データ体制に拡張する。 フルモダリティデータと十分なアノテートされたトレーニングサンプルを取得することは、しばしばコストがかかる。 本稿では,この2つの重要な問題に対処するために,検索強化したテキスト内学習を提案する。
  論文  参考訳（メタデータ） (2024-03-14T14:19:48Z)
• Exploring Missing Modality in Multimodal Egocentric Datasets [89.76463983679058]
  モダリティが欠如している場合でも,MMT(Missing Modality Token)という新しい概念を導入してパフォーマンスを維持する。 テストセットの半分がモダル不完全である場合、元の$sim 30%$ dropから$sim 10%$に減らします。
  論文  参考訳（メタデータ） (2024-01-21T11:55:42Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• BayesIMP: Uncertainty Quantification for Causal Data Fusion [52.184885680729224]
  本研究では,複数の因果グラフに関連するデータセットを組み合わせ,対象変数の平均処理効果を推定する因果データ融合問題について検討する。 本稿では、確率積分とカーネル平均埋め込みのアイデアを組み合わせて、再生されたカーネルヒルベルト空間における干渉分布を表現するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-07T10:14:18Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。