論文の概要: Learning from Reliable Latent Prompts for Visual Recognition with Missing Modalities

• arxiv url: http://arxiv.org/abs/2606.30597v1
• Date: Mon, 29 Jun 2026 17:36:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.364649
• Title: Learning from Reliable Latent Prompts for Visual Recognition with Missing Modalities
• Title（参考訳）: 行方不明者の視覚認識のための信頼性のある潜伏プロンプトからの学習
• Abstract要約: 大規模マルチモーダルモデル(LMM)は,多種多様かつ大規模なペアリングモーダルの情報を相乗化することによって,視覚認識における優れた性能を実現している。 しかし、現実のシナリオでは、モダリティの欠如はユビキタスであり、モダリティ完全データに最適化されたモデルが急激な性能劣化を示す。 既存の研究では、インスタンスレベルの機能から動的プロンプトを生成することで、この問題を緩和するために即時学習を導入している。 欠落率が高くなると不完全モダリティの割合が増加し、学習の急激な不安定さによってモデルの性能が制限される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale multimodal models (LMMs) have achieved superior performance in visual recognition by synergizing information across diverse, massive-scale paired modalities. In real-world scenarios, however, missing-modality inputs are ubiquitous, causing models optimized for modality-complete data to exhibit precipitous performance degradation. Existing research has introduced prompt learning to mitigate this issue, typically by generating dynamic prompts from instance-level features, regardless of whether the input modalities are complete or partially absent. However, such input-conditioned strategies are hindered by the escalating unreliability of instance-level features; as higher missing rates increase the proportion of incomplete modalities, the resulting instability in prompt learning limits the model's performance. To address this limitation, we hypothesize that learnable latent prompts themselves encapsulate stable, modality-intrinsic priors that are decoupled from corrupted inputs. Consequently, we propose a novel paradigm: Learning from Reliable Latent Prompts. Unlike prior methods, we model input-agnostic learnable prompts as stable latent anchors that enable robust guidance and effective cross-modal knowledge compensation, even under extreme missing rates (e.g., 90%). Empirical results across three benchmark datasets demonstrate that our "learn-from-latent-prompts" approach achieves state-of-the-art performance across a wide range of missing-modality scenarios. Extensive experiments further confirm the effectiveness of this paradigm in providing a robust solution to the missing-modality problem.
• Abstract（参考訳）: 大規模マルチモーダルモデル(LMM)は,多種多様かつ大規模なペアリングモーダルの情報を相乗化することによって,視覚認識における優れた性能を実現している。 しかし、現実のシナリオでは、モダリティの欠如はユビキタスであり、モダリティ完全データに最適化されたモデルが急激な性能劣化を示す。 既存の研究では、入力モダリティが完全であるか部分的に欠如しているかに関わらず、通常、インスタンスレベルの特徴から動的プロンプトを生成することによって、この問題を緩和するための即時学習を導入している。 しかし、そのような入力条件付き戦略は、インスタンスレベルの特徴の信頼性の低下によって妨げられ、不完全なモダリティの割合が増大するにつれて、学習の急激な不安定さによってモデルの性能が制限される。 この制限に対処するために、学習可能な潜伏剤は、破損した入力から切り離された安定なモダリティ-内在的な先入観をカプセル化する、という仮説を立てる。 そこで,本稿では,信頼性の高い潜伏プロンプトからの学習という,新しいパラダイムを提案する。 従来の手法とは異なり、入力非依存の学習可能なプロンプトを安定な潜伏アンカーとしてモデル化し、極端な欠落率(例:90%)下であっても、堅牢なガイダンスと効果的なクロスモーダルな知識補償を可能にする。 3つのベンチマークデータセットにまたがる実証的な結果から、我々の"Learn-from-latent-prompts"アプローチは、幅広い欠落したモダリティシナリオで最先端のパフォーマンスを実現しています。 過剰な実験により、このパラダイムが欠落したモダリティ問題に対する堅牢な解決策を提供する際にさらに有効であることが確認される。

関連論文リスト

• MMEB-V3: Measuring the Performance Gaps of Omni-Modality Embedding Models [70.34265674686516]
  マルチモーダル埋め込みモデルは、テキスト、画像、ビデオ、オーディオなどの異種入力を共有意味空間にマッピングすることを目的としている。 本稿では,テキスト,画像,ビデオ,オーディオ,エージェント中心のシナリオにまたがる埋め込みを評価するベンチマークであるMMEB-V3を紹介する。 本研究は, 完全モダリティ埋め込みの系統的解析を行い, 3つの重要な知見を同定する。
  論文  参考訳（メタデータ） (2026-04-25T14:15:05Z)
• Evaluation Before Generation: A Paradigm for Robust Multimodal Sentiment Analysis with Missing Modalities [21.767502810187477]
  モダリティの欠如は、マルチモーダルな感情分析において根本的な課題となる。 既存のアプローチは主に、素早い学習と事前訓練されたモデルを通じて堅牢性を改善する。 Promptベースのミスモダリティ適応フレームワークがこれらの問題に対処するために提案されている。
  論文  参考訳（メタデータ） (2026-04-07T07:59:06Z)
• Synergistic Prompting for Robust Visual Recognition with Missing Modalities [13.821274074204082]
  大規模マルチモーダルモデルは様々な視覚認識タスクにおいて顕著な性能を示した。 欠落や不完全なモダリティ入力の存在は、しばしば大きなパフォーマンス劣化を引き起こす。 モダリティの欠如を伴い、頑健な視覚認識を実現するための新しいSynergistic Promptingフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-10T14:28:12Z)
• Decoupled Multimodal Prototypes for Visual Recognition with Missing Modalities [3.88369051454137]
  マルチモーダル学習は、複数のデータモダリティから情報を知覚し、理解することで、ディープラーニングモデルを強化する。 既存のアプローチのほとんどは、現実のアプリケーションでしばしば失敗する前提として、すべてのモダリティの可用性を前提としています。 最近の研究は、欠落したモダリティによる性能劣化を軽減するために学習可能な欠落事例認識プロンプトを導入している。 個別のモダリティに適合したクラスワイドプロトタイプを欠落ケース認識する新しいデカップリング型プロトタイプベース出力ヘッドを提案する。
  論文  参考訳（メタデータ） (2025-05-13T06:53:37Z)
• Deep Correlated Prompting for Visual Recognition with Missing Modalities [22.40271366031256]
  大規模マルチモーダルモデルでは、ペア化された大規模マルチモーダルトレーニングデータを用いて、一連のタスクに対して優れた性能を示す。 しかし、プライバシーの制約やコレクションの難しさのために、この単純な仮定が現実の世界で常に成り立つとは限らない。 そこで本研究では,大規模事前学習型マルチモーダルモデルを用いて,欠落事例を異なる入力タイプとして扱うことで,欠落したモダリティシナリオに対処する学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-09T05:28:43Z)
• Missing Modality Prediction for Unpaired Multimodal Learning via Joint Embedding of Unimodal Models [6.610033827647869]
  実世界のシナリオでは、完全なマルチモーダルデータを一貫して取得することは重大な課題である。 これはしばしば、特定のモダリティのデータが欠落しているモダリティの問題につながる。 自己教師型共同埋め込み学習手法を用いて, パラメータ効率のよい未学習モデルの微調整を行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-17T14:44:25Z)
• Multimodal Prompt Learning with Missing Modalities for Sentiment Analysis and Emotion Recognition [52.522244807811894]
  本稿では,欠落したモダリティの問題に対処するために,即時学習を用いた新しいマルチモーダルトランスフォーマーフレームワークを提案する。 提案手法では,生成的プロンプト,欠信号プロンプト,欠信号プロンプトの3種類のプロンプトを導入している。 迅速な学習を通じて、トレーニング可能なパラメータの数を大幅に削減する。
  論文  参考訳（メタデータ） (2024-07-07T13:55:56Z)
• Test-Time Adaptation for Combating Missing Modalities in Egocentric Videos [92.38662956154256]
  現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。 再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
  論文  参考訳（メタデータ） (2024-04-23T16:01:33Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Self-attention fusion for audiovisual emotion recognition with incomplete data [103.70855797025689]
  視覚的感情認識を応用したマルチモーダルデータ解析の問題点を考察する。 本稿では、生データから学習可能なアーキテクチャを提案し、その3つの変種を異なるモダリティ融合機構で記述する。
  論文  参考訳（メタデータ） (2022-01-26T18:04:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。