論文の概要: SemMSA: Latent Semantic-Aided Robust Multimodal Sentiment Analysis with Incomplete Data

• arxiv url: http://arxiv.org/abs/2609.30238v1
• Date: Thu, 24 Sep 2026 17:55:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.196784
• Title: SemMSA: Latent Semantic-Aided Robust Multimodal Sentiment Analysis with Incomplete Data
• Title（参考訳）: SemMSA:不完全データを用いた潜在セマンティック支援ロバストマルチモーダル感性分析
• Abstract要約: SemMSAは感情分析のための潜在的なセマンティック支援フレームワークである。 CSR(Cross-modal Semantic Refinement)とCSA(Cross-modal Spectral Alignment)で構成されている。 SIMS、MOSI、MOSEIベンチマークの実験は、SemMSAが最先端のパフォーマンスを達成することを示した。
• 参考スコア（独自算出の注目度）: 18.18833367856836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research on Multimodal Sentiment Analysis (MSA) has focused on learning from language, visual, and acoustic modalities with incomplete data to infer human sentiment. Most studies typically compensate for missing information by reconstructing modality features or designing complicated fusion mechanisms. However, these methods still suffer from spurious generation and noisy guidance due to the lack of high-level semantic grounding in partially observed multimodal evidence. To address these issues, we propose SemMSA, a latent semantic-aided framework that constructs rich sentiment-relevant semantics with LLMs, fully integrating with all modalities via anchor-free spectral alignment. It mainly consists of Cross-modal Semantic Refinement (CSR) and Cross-modal Spectral Alignment (CSA). Specifically, CSR first adaptively extracts visual and acoustic representations by corresponding adapters to form a unified multimodal prefix with language in the frozen LLM embedding space. It then iteratively produces continuous discriminative semantic states through a token-efficient latent refinement process without decoding explicit text. Next, CSA simultaneously aligns the refined semantics with all modalities by enhancing the dominant spectral component of their kernel Gram matrix. This captures global nonlinear dependencies among all representations without relying on a predefined anchor modality. In addition, an instance-level spectral separation constraint preserves cross-sample discriminability and mitigates representation collapse. Extensive experiments on SIMS, MOSI, and MOSEI benchmarks demonstrate that SemMSA achieves state-of-the-art performance.
• Abstract（参考訳）: マルチモーダル・センティメント・アナリティクス(MSA)の最近の研究は、人間の感情を推測するために不完全なデータを用いて言語、視覚、音響モーダルから学習することに焦点を当てている。 ほとんどの研究は、通常、モダリティの特徴を再構築したり、複雑な融合機構を設計することで、欠落した情報を補う。 しかし、これらの手法は、部分的に観察されたマルチモーダルな証拠に高レベルのセマンティックグラウンドが欠如しているため、いまだに素早い生成とノイズのガイダンスに悩まされている。 これらの問題に対処するために,LLMを用いたリッチな感情関連セマンティクスを構築し,アンカーフリースペクトルアライメントによるすべてのモダリティと完全に統合した潜在意味支援フレームワークSemMSAを提案する。 主にCSR(Cross-modal Semantic Refinement)とCSA(Cross-modal Spectral Alignment)で構成されている。 具体的には、CSRはまず、対応するアダプタによる視覚的および音響的表現を適応的に抽出し、冷凍LLM埋め込み空間における言語との統一されたマルチモーダルプレフィックスを形成する。 その後、明示的なテキストを復号することなくトークン効率の低い精錬プロセスを通じて、連続的な識別的意味状態を反復的に生成する。 次に、CSAはカーネルグラム行列のスペクトル成分の優位性を高めることにより、洗練されたセマンティクスと全てのモダリティを同時に調整する。 これは、事前に定義されたアンカーのモダリティに頼ることなく、すべての表現のグローバルな非線形依存関係をキャプチャする。 さらに、インスタンスレベルのスペクトル分離制約は、クロスサンプル識別性を保ち、表現の崩壊を緩和する。 SIMS、MOSI、MOSEIベンチマークに関する大規模な実験は、SemMSAが最先端のパフォーマンスを達成することを示す。

関連論文リスト

• Multi-Granularity Sentiment Integration for LLM-Based Multimodal Sentiment Analysis [11.01072663453698]
  マルチモーダル感情分析(MSA)は、テキスト、音声、視覚などの異種入力から感情の極性と強度を予測することを目的としている。 LLMベースのMSAのための多粒度感情統合フレームワークMGSIを提案する。
  論文  参考訳（メタデータ） (2026-08-17T07:34:57Z)
• AdaSurvMamba: Dynamic Fusion and Semantic Scanning for Multimodal Survival Analysis [57.942670844512016]
  我々はAdaSurvMambaをマルチモーダルサバイバル分析の新しい適応フレームワークとして紹介する。 このフレームワークは、クロスモーダル相互作用強度を動的に変調するDual-Scale Importance-Aware Reconstruction (DSIR)モジュールを備えている。 5つのTCGAコホートに対する実験は、既存の方法よりも一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-06-28T11:36:31Z)
• LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations [53.20772659095155]
  本稿では、トレーニング時不完全観察において、より困難なIMLの設定に取り組む。 本稿では,この課題を条件付きシーケンス推論タスクとして再構成したLIMSSR(LLM-Driven Incomplete Multimodal Sequence-to-Score Reasoning)を提案する。
  論文  参考訳（メタデータ） (2026-05-01T06:11:42Z)
• SGMA: Semantic-Guided Modality-Aware Segmentation for Remote Sensing with Incomplete Multimodal Data [31.146366498415784]
  マルチモーダルセマンティックセグメンテーションは、リモートセンシング地球観測のための多様なセンサーからの補完情報を統合する。 IMSSは3つの主要な課題に直面している:マルチモーダル不均衡、支配的なモダリティが脆弱なモダリティを抑えること、スケール、形状、方向のクラス内変化、矛盾するキーと矛盾するセマンティック応答を生み出すクロスモーダル不均一。 本稿では,セマンティック・ガイド・モダリティ・アウェア(SGMA)フレームワークを提案する。セマンティック・モダリティ・アウェア(SGMA)フレームワークは,クラス内変動の低減とセマンティックガイダンスによる相互不整合の緩和を図りつつ,バランスの取れたマルチモーダル学習を実現する。
  論文  参考訳（メタデータ） (2026-03-03T01:28:21Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
  マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。 階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。 我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
  論文  参考訳（メタデータ） (2025-09-19T17:29:25Z)
• METER: Multi-modal Evidence-based Thinking and Explainable Reasoning -- Algorithm and Benchmark [48.78602579128459]
  本稿では,画像,ビデオ,音声,映像コンテンツにまたがる偽造検出のための統合ベンチマークMETERを紹介する。 我々のデータセットは4つのトラックから構成されており、それぞれのトラックは実際のvsフェイク分類だけでなく、エビデンスチェーンに基づく説明も必要である。
  論文  参考訳（メタデータ） (2025-07-22T03:42:51Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。