論文の概要: FSRF: Factorization-guided Semantic Recovery for Incomplete Multimodal Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2510.16086v1
• Date: Fri, 17 Oct 2025 15:35:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:38.842891
• Title: FSRF: Factorization-guided Semantic Recovery for Incomplete Multimodal Sentiment Analysis
• Title（参考訳）: FSRF:不完全マルチモーダル感性分析のための因子分解誘導セマンティックリカバリ
• Authors: Ziyang Liu, Pengjunfei Chu, Shuming Dong, Chen Zhang, Mingcheng Li, Jin Wang,
• Abstract要約: マルチモーダル知覚分析(MSA)は、人間の感情理解にマルチモーダルデータを活用する研究ホットスポットとなっている。 これまでのMSA研究は主に、完全なマルチモーダルデータに対する相互作用と融合の実行に焦点を当ててきた。 MSAタスクにおけるモダリティの欠如を緩和する因子分解誘導セマンティック・リカバリ・フレームワーク(FSRF)を提案する。
• 参考スコア（独自算出の注目度）: 15.96435347342821
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, Multimodal Sentiment Analysis (MSA) has become a research hotspot that aims to utilize multimodal data for human sentiment understanding. Previous MSA studies have mainly focused on performing interaction and fusion on complete multimodal data, ignoring the problem of missing modalities in real-world applications due to occlusion, personal privacy constraints, and device malfunctions, resulting in low generalizability. To this end, we propose a Factorization-guided Semantic Recovery Framework (FSRF) to mitigate the modality missing problem in the MSA task. Specifically, we propose a de-redundant homo-heterogeneous factorization module that factorizes modality into modality-homogeneous, modality-heterogeneous, and noisy representations and design elaborate constraint paradigms for representation learning. Furthermore, we design a distribution-aligned self-distillation module that fully recovers the missing semantics by utilizing bidirectional knowledge transfer. Comprehensive experiments on two datasets indicate that FSRF has a significant performance advantage over previous methods with uncertain missing modalities.
• Abstract（参考訳）: 近年,マルチモーダル・センチメント・アナリティクス(MSA)は,人間の感情理解にマルチモーダル・データを活用する研究ホットスポットとなっている。 これまでのMSAの研究は主に、完全なマルチモーダルデータに対するインタラクションと融合に重点を置いており、隠蔽、個人のプライバシー制約、デバイス誤動作による現実のアプリケーションにおけるモダリティの欠如の問題を無視しており、結果として一般化性は低い。 そこで本研究では,MSAタスクにおけるモダリティの欠如を緩和する因子分解誘導セマンティック・リカバリ・フレームワーク(FSRF)を提案する。 具体的には、モダリティをモダリティ・均質・モダリティ・異質・雑音に分解し、表現学習のための厳密な制約パラダイムを設計する、非冗長なホモ・異質な分解モジュールを提案する。 さらに、双方向の知識伝達を利用して、欠落したセマンティクスを完全に復元する分散整合型自己蒸留モジュールを設計する。 2つのデータセットの総合的な実験により、FSRFは、不確実なモダリティを持つ以前の手法よりも大きな性能上の優位性を持つことが示された。

関連論文リスト

• Revealing Multimodal Causality with Large Language Models [80.95511545591107]
  非構造化データからマルチモーダル因果発見のための新しいフレームワークであるMLLM-CDを提案する。 本研究は,(1)真のマルチモーダル因子を同定する新しいコントラッシブ・ファクター発見モジュール,(2)発見要因間の因果関係を推測する統計的因果構造発見モジュール,(3)発見結果を洗練するための反復的マルチモーダル・カウンターファクト・推論モジュールの3つの重要な構成要素から構成される。
  論文  参考訳（メタデータ） (2025-09-22T13:45:17Z)
• Confidence-Aware Self-Distillation for Multimodal Sentiment Analysis with Incomplete Modalities [15.205192581534973]
  マルチモーダル感情分析は、マルチモーダルデータを通して人間の感情を理解することを目的としている。 既存のモダリティの欠如を扱う方法は、データ再構成や共通部分空間投影に基づいている。 マルチモーダルな確率的埋め込みを効果的に組み込んだ信頼性認識型自己蒸留(CASD)戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-02T09:48:41Z)
• Let Synthetic Data Shine: Domain Reassembly and Soft-Fusion for Single Domain Generalization [68.41367635546183]
  単一ドメインの一般化は、単一のソースからのデータを使用して、さまざまなシナリオで一貫したパフォーマンスでモデルをトレーニングすることを目的としている。 モデル一般化を改善するために合成データを活用した学習フレームワークDRSFを提案する。
  論文  参考訳（メタデータ） (2025-03-17T18:08:03Z)
• Modality-Invariant Bidirectional Temporal Representation Distillation Network for Missing Multimodal Sentiment Analysis [6.15602203132432]
  モダリティ不変な双方向時間表現蒸留ネットワーク(MITR-DNet)を導入する。 MITR-DNetは蒸留方式を採用しており、完全なモダリティの教師モデルは、モダリティの学生モデルが欠けていることをガイドし、モダリティの欠如の有無で堅牢性を確保する。
  論文  参考訳（メタデータ） (2025-01-07T07:57:16Z)
• Toward Robust Incomplete Multimodal Sentiment Analysis via Hierarchical Representation Learning [21.127950337002776]
  マルチモーダル・センティメント・アナリティクス(MSA)は、複数のモーダルを通して人間の感情を理解し、認識することを目的とした重要な研究分野である。 本稿では,不確実なモダリティの下でのタスクのための階層表現学習フレームワーク(HRLF)を提案する。 HRLFは、不確実なモダリティ欠失例において、MSA性能を著しく改善することを示した。
  論文  参考訳（メタデータ） (2024-11-05T04:04:41Z)
• Correlation-Decoupled Knowledge Distillation for Multimodal Sentiment Analysis with Incomplete Modalities [16.69453837626083]
  本稿では,Multimodal Sentiment Analysis (MSA)タスクのための相関分離型知識蒸留(CorrKD)フレームワークを提案する。 本稿では, クロスサンプル相関を含む包括的知識を伝達し, 欠落した意味論を再構築するサンプルレベルのコントラスト蒸留機構を提案する。 我々は,学生ネットワークの感情決定境界を最適化するために,応答不整合蒸留方式を設計する。
  論文  参考訳（メタデータ） (2024-04-25T09:35:09Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• Efficient Multimodal Transformer with Dual-Level Feature Restoration for Robust Multimodal Sentiment Analysis [47.29528724322795]
  マルチモーダルセンシング分析(MSA)が近年注目を集めている。 著しい進歩にもかかわらず、堅牢なMSAへの道にはまだ2つの大きな課題がある。 デュアルレベル特徴回復 (EMT-DLFR) を用いた高効率マルチモーダル変圧器 (Efficient Multimodal Transformer) を提案する。
  論文  参考訳（メタデータ） (2022-08-16T08:02:30Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。