論文の概要: Modality Disentangled Learning for Incomplete Multimodal Emotion Recognition: A Primitive Memory Distillation Perspective

• arxiv url: http://arxiv.org/abs/2608.30563v1
• Date: Mon, 31 Aug 2026 10:38:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.353169
• Title: Modality Disentangled Learning for Incomplete Multimodal Emotion Recognition: A Primitive Memory Distillation Perspective
• Title（参考訳）: 不完全なマルチモーダル感情認識のためのモダリティディスタングル学習--プリミティブメモリ蒸留の視点から
• Abstract要約: 本稿では,感情認識システムにおけるモダリティの欠如を解決するために,Primitive Memory Distillation (PriMD) フレームワークを提案する。 PriMDはモジュール間の共有セマンティクスをモダリティ固有の表現から切り離し、その後、後者を学習可能なセマンティクスプリミティブに識別する。 制約されたメモリ空間内のモダリティ固有の情報の欠如を補償し、教師モデルと整合する。
• 参考スコア（独自算出の注目度）: 69.4071488744115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Emotion Recognition (MER) systems often suffer from missing modalities in real-world scenarios. Existing methods usually generate, align, or distill missing modalities as a whole, overlooking the heterogeneous nature of the information carried by each modality. Such holistic treatment mixes inferable shared semantics with uncertain modality-specific details, yielding unstable representations and degrading robustness. To address this issue, we propose the Primitive Memory Distillation (PriMD) framework. Unlike existing methods, PriMD takes an intra-modal perspective and focuses on how different types of information within a modality differ in recoverability within each modality. PriMD first disentangles cross-modal shared semantics from modality-specific representations, and then discretizes the latter into learnable semantic primitives to construct modality-specific memory banks. When modalities are missing, PriMD is a teacher-student framework that the student model uses the shared semantics of available modalities as queries to dynamically retrieve primitives. It compensates for missing modality-specific information within a constrained memory space and aligns with the teacher model. Extensive experiments on IEMOCAP, CMU-MOSI, and CMU-MOSEI demonstrate that PriMD achieves state-of-the-art performance and consistently stronger robustness across a wide range of missing-modality settings, while mitigating the instability caused by holistic feature inference. Our code and project website are available at https://github.com/JiaqiZhang-Sengoku/PriMD and https://jiaqizhang-sengoku.github.io/PriMD/, respectively.
• Abstract（参考訳）: マルチモーダル感情認識(MER)システムは、現実のシナリオにおいて欠落するモダリティに悩まされることが多い。 既存の方法は、通常、欠落したモダリティ全体を生成、調整、または蒸留し、各モダリティによって運ばれる情報の異質性を見渡す。 このような包括的処理は、推論可能な共有意味論と不確実なモダリティ固有の詳細を混合し、不安定な表現をもたらし、ロバスト性を低下させる。 この問題に対処するため,プリミティブメモリ蒸留(PriMD)フレームワークを提案する。 既存の方法とは異なり、PriMDはモーダル内視点を採り、モーダル内の異なるタイプの情報がどのように、各モーダル内のリカバリ可能性が異なるかに焦点を当てている。 PriMDはまず、モダリティ固有の表現からモダリティ間の共有セマンティクスを切り離し、その後、モダリティ固有のメモリバンクを構築するために、後者を学習可能なセマンティクスプリミティブに識別する。 モダリティが欠落している場合、PrialMDは、学生モデルが利用可能なモダリティの共有セマンティクスをクエリとして使用し、プリミティブを動的に検索する、教師による学習フレームワークである。 制約されたメモリ空間内のモダリティ固有の情報の欠如を補償し、教師モデルと整合する。 IEMOCAP、CMU-MOSI、CMU-MOSEIの広範囲にわたる実験により、PriMDは、全体的な特徴推論による不安定性を軽減しつつ、最先端のパフォーマンスと、幅広いモダリティ設定において一貫して強い堅牢性を達成していることが示された。 私たちのコードとプロジェクトのWebサイトは、https://github.com/JiaqiZhang-Sengoku/PriMDとhttps://jiaqizhang-sengoku.github.io/PriMD/で公開されています。

関連論文リスト

• Resilient Vision-Tabular Multimodal Learning under Modality Missingness [1.696842238811138]
  マルチモーダルディープラーニングは医療応用において大きな可能性を秘めている。 既存のアプローチの多くは、完全にモダリティの可用性を暗黙的に仮定している。 共同視覚・タブラリ学習のためのマルチモーダルトランスフォーマーフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T12:14:13Z)
• Beyond Surface Artifacts: Capturing Shared Latent Forgery Knowledge Across Modalities [52.189426539304065]
  本稿では,従来の「機能融合」から「モダリティ一般化」に再定義するパラダイムシフトを提案する。 モーダリティ固有のスタイルを明示的に分離することにより,MAFは必須かつ非モーダルな潜在フォージェリー知識を正確に抽出する。
  論文  参考訳（メタデータ） (2026-04-09T03:35:21Z)
• MDReID: Modality-Decoupled Learning for Any-to-Any Multi-Modal Object Re-Identification [32.811775633963066]
  MDReIDは、モダリティマッチしたシナリオとモダリティミスマッチしたシナリオの両方で動作するように設計されたフレキシブルなReIDフレームワークである。 MDReIDは、モダリティ情報は予測可能で転送可能なモダリティ共有特徴と、ユニークでモダリティに依存しない特徴をキャプチャするモダリティ固有の特徴の2つの構成要素に分解できるという洞察に基づいている。
  論文  参考訳（メタデータ） (2025-10-27T13:08:46Z)
• No Modality Left Behind: Adapting to Missing Modalities via Knowledge Distillation for Brain Tumor Segmentation [11.776176055438313]
  AdaMMは、欠落したモダリティシナリオに適したマルチモーダル脳腫瘍セグメンテーションフレームワークである。 AdaMMは既存の手法を一貫して上回り、セグメンテーション精度とロバスト性に優れる。
  論文  参考訳（メタデータ） (2025-09-18T14:47:20Z)
• MuSACo: Multimodal Subject-Specific Selection and Adaptation for Expression Recognition with Co-Training [52.99217736494484]
  パーソナライズされた表現認識のためのマルチモーダルな主題固有の選択と適応法であるMuSACoを紹介する。 これにより、MuSACoは、ストレスや痛みに対する患者固有の評価など、デジタルヘルスにおける感情的コンピューティングアプリケーションに関係している。 BioVid と StressID というマルチモーダル ER データセットに対する実験結果から,MuSACo が UDA (blending) および最先端 MSDA 法より優れていることが示された。
  論文  参考訳（メタデータ） (2025-08-17T23:08:21Z)
• Deep Correlated Prompting for Visual Recognition with Missing Modalities [22.40271366031256]
  大規模マルチモーダルモデルでは、ペア化された大規模マルチモーダルトレーニングデータを用いて、一連のタスクに対して優れた性能を示す。 しかし、プライバシーの制約やコレクションの難しさのために、この単純な仮定が現実の世界で常に成り立つとは限らない。 そこで本研究では,大規模事前学習型マルチモーダルモデルを用いて,欠落事例を異なる入力タイプとして扱うことで,欠落したモダリティシナリオに対処する学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-09T05:28:43Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• MMD-ReID: A Simple but Effective Solution for Visible-Thermal Person ReID [20.08880264104061]
  本稿では,モダリティギャップを明示的な差分低減制約によって低減する,シンプルで効果的なMDD-ReIDを提案する。 我々はMDD-ReIDの有効性を定性的かつ定量的に実証するための広範囲な実験を行った。 提案手法は,SYSU-MM01およびRegDBデータセットにおける最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-11-09T11:33:32Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。