論文の概要: General Incomplete Multimodal Learning via Dynamic Quality Perception

• arxiv url: http://arxiv.org/abs/2607.06943v1
• Date: Wed, 08 Jul 2026 03:13:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.270829
• Title: General Incomplete Multimodal Learning via Dynamic Quality Perception
• Title（参考訳）: 動的品質認識による総合的不完全マルチモーダル学習
• Abstract要約: 本稿では,モダリティの欠如とモダリティ内劣化の両方を同時に扱う統一フレームワークを提案する。 具体的には、GIMLは不均一な欠落パターンを連続的なモダリティ情報劣化としてモデル化する。 信頼性の高い品質知覚を実現するために,劣化した特徴から雑音強度へのマッピングを学習するノイズ対応品質評価器を導入する。
• 参考スコア（独自算出の注目度）: 5.340979083445884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal learning robust to missing modalities is essential for real-world applications. Existing methods mainly focus on inter-modality missing, where entire modalities are absent, while overlooking intra-modality degradation, where modalities are present but severely corrupted. In practice, these two types of missing often coexist, making existing approaches ineffective. To address this limitation, we propose General Incomplete Multimodal Learning (GIML), a unified framework that simultaneously handles both inter-modality missing and intra-modality degradation through dynamic quality perception. Specifically, GIML models heterogeneous missing patterns as continuous modality information degradation, enabling degradation-aware adaptive fusion. To achieve reliable quality perception, we introduce a Noise-aware Quality Estimator that learns the mapping from corrupted features to noise intensity through controlled noise injection. Furthermore, we propose a Noise-Semantic Decoupled module that separates semantic information from noise interference. This improves robustness and generalization to unseen corruption patterns. Extensive experiments across datasets with diverse modality types demonstrate the effectiveness and generality of GIML. Code is available at: https://github.com/Yu-Five/GIML.
• Abstract（参考訳）: モダリティの欠如に頑健なマルチモーダル学習は、現実世界のアプリケーションにとって不可欠である。 既存の手法は主に、すべてのモダリティが欠落しているモダリティ間欠落に焦点を当て、モダリティ内劣化を見落としている。 実際には、これらの2つのタイプの欠落は、しばしば共存し、既存のアプローチを効果的にしない。 この制限に対処するために、動的品質知覚によるモダリティの欠如とモダリティ内劣化の両方を同時に扱う統合フレームワーク、General Incomplete Multimodal Learning (GIML)を提案する。 具体的には、GIMLは、不均一な欠落パターンを連続的なモダリティ情報劣化としてモデル化し、劣化を意識した適応融合を可能にする。 信頼性の高い品質知覚を実現するため,制御ノイズ注入による劣化特徴から雑音強度へのマッピングを学習するノイズ認識品質推定器を導入する。 さらに,ノイズ干渉から意味情報を分離するノイズ・セマンティック・デカップリングモジュールを提案する。 これにより、堅牢性と一般化が、目に見えない汚職パターンに改善される。 多様なモダリティ型を持つデータセットにわたる大規模な実験は、GIMLの有効性と汎用性を示している。 コードは、https://github.com/Yu-Five/GIML.comで入手できる。

関連論文リスト

• Modality Disentangled Learning for Incomplete Multimodal Emotion Recognition: A Primitive Memory Distillation Perspective [69.4071488744115]
  本稿では,感情認識システムにおけるモダリティの欠如を解決するために,Primitive Memory Distillation (PriMD) フレームワークを提案する。 PriMDはモジュール間の共有セマンティクスをモダリティ固有の表現から切り離し、その後、後者を学習可能なセマンティクスプリミティブに識別する。 制約されたメモリ空間内のモダリティ固有の情報の欠如を補償し、教師モデルと整合する。
  論文  参考訳（メタデータ） (2026-08-31T10:38:47Z)
• UniNDM: A Unified Noise-driven Detection and Mitigation Framework Against Sexual Content in Text-to-Image Generation [90.0896070825457]
  本稿では,拡散過程におけるノイズダイナミクスのレンズを通して,安全機構を再考する統合ノイズ駆動フレームワークを提案する。 我々の重要な洞察は、早期の予測ノイズは、正常な内容と性的な内容の間に固有の分離性を示すことである。 我々は,計算オーバーヘッドがほとんどなく,精度の高い軽量ノイズベース検出器を開発した。
  論文  参考訳（メタデータ） (2026-07-18T14:03:39Z)
• Robust Multimodal Recommendation via Graph Retrieval-Enhanced Modality Completion [71.20734649881258]
  実世界のマルチモーダルデータセットは、センサーの故障、アノテーションの不足、プライバシーの制約によって、しばしばモダリティの不完全性に悩まされる。 効果的な解決策の1つはモダリティ補完であり、下流タスクのためのモダリティ完全グラフを提供するために欠落した特徴を再構成する。 本稿では,これらの制限を克服するグラフ検索拡張モード補完フレームワークであるGRE-MCを提案する。
  論文  参考訳（メタデータ） (2026-05-01T13:50:52Z)
• Evaluation Before Generation: A Paradigm for Robust Multimodal Sentiment Analysis with Missing Modalities [21.767502810187477]
  モダリティの欠如は、マルチモーダルな感情分析において根本的な課題となる。 既存のアプローチは主に、素早い学習と事前訓練されたモデルを通じて堅牢性を改善する。 Promptベースのミスモダリティ適応フレームワークがこれらの問題に対処するために提案されている。
  論文  参考訳（メタデータ） (2026-04-07T07:59:06Z)
• Unbiased Dynamic Multimodal Fusion [17.111704025557376]
  従来のマルチモーダル手法は静的なモダリティの品質を前提としており、動的実世界のシナリオにおける適応性を制限している。 モーフィアデータに制御ノイズを付加し,その強度をモーフィア特徴から予測するノイズ認識不確実性推定器を提案する。 これにより、モデルが特徴量と雑音レベルの明確な対応を学習し、低騒音条件と高騒音条件の両方で正確な不確実性の測定を可能にする。
  論文  参考訳（メタデータ） (2026-03-20T06:29:59Z)
• Enhancing Foundation VLM Robustness to Missing Modality: Scalable Diffusion for Bi-directional Feature Restoration [40.720288165545476]
  本研究では,機能不足を効果的に回復するために,拡張拡散モデルをプラグ可能な中段階トレーニングモジュールとして導入する。 I)動的モダリティゲーティング(動的モダリティゲーティング)は、条件付き特徴を適応的に活用し、セマンティック一貫性のある特徴の生成を制御し、(II)双方向アライメントを実現するためにデュアルエンコーダのセマンティック空間をブリッジするクロスモーダル相互学習機構である。
  論文  参考訳（メタデータ） (2026-02-03T06:06:35Z)
• Test-time Adaptive Hierarchical Co-enhanced Denoising Network for Reliable Multimodal Classification [55.56234913868664]
  マルチモーダルデータを用いた信頼性学習のためのTAHCD(Test-time Adaptive Hierarchical Co-enhanced Denoising Network)を提案する。 提案手法は,最先端の信頼性の高いマルチモーダル学習手法と比較して,優れた分類性能,堅牢性,一般化を実現する。
  論文  参考訳（メタデータ） (2026-01-12T03:14:12Z)
• UniMMAD: Unified Multi-Modal and Multi-Class Anomaly Detection via MoE-Driven Feature Decompression [74.0893986012049]
  UniMMADは、マルチモーダルおよびマルチクラスの異常検出のための統一されたフレームワークである。 UniMMADは、9つの異常検出データセット上で、3つのフィールド、12のモダリティ、66のクラスにまたがる最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-09-30T08:29:12Z)
• A Study of Dropout-Induced Modality Bias on Robustness to Missing Video Frames for Audio-Visual Speech Recognition [53.800937914403654]
  AVSR(Advanced Audio-Visual Speech Recognition)システムは、欠落したビデオフレームに敏感であることが観察されている。 ビデオモダリティにドロップアウト技術を適用することで、フレーム不足に対するロバスト性が向上する一方、完全なデータ入力を扱う場合、同時に性能損失が発生する。 本稿では,MDA-KD(Multimodal Distribution Approximation with Knowledge Distillation)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-07T06:06:55Z)
• Learning Noise-Robust Joint Representation for Multimodal Emotion Recognition under Incomplete Data Scenarios [23.43319138048058]
  実践シナリオにおけるマルチモーダル感情認識(MER)は、欠落したデータや不完全なデータの存在によって著しく困難である。 従来の手法では、データを捨てたり、データセグメントをゼロベクトルで置換することで、これらの不完全性を近似することが多い。 本稿では,雑音データから頑健なマルチモーダル関節表現を効果的に学習する新しいノイズローバストMERモデルを提案する。
  論文  参考訳（メタデータ） (2023-09-21T10:49:02Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。