論文の概要: ConsMSA: Semantic Distribution Consistency Learning for Multimodal Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2610.31731v1
• Date: Thu, 22 Oct 2026 15:40:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.255271
• Title: ConsMSA: Semantic Distribution Consistency Learning for Multimodal Sentiment Analysis
• Title（参考訳）: ConsMSA:マルチモーダル感性分析のための意味分布一貫性学習
• Abstract要約: ConsMSAは、$textitintra$-と$textitinter$-modalityのセマンティックな分散一貫性を形式化する。 ConsMSAは、攻撃的トークン圧縮の下で頑健でありながら、最先端のパフォーマンスを実現していることを示す。
• 参考スコア（独自算出の注目度）: 6.809204795192898
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multimodal sentiment analysis (MSA) aims to predict human sentiments by integrating signals from different modalities such as text, video, and audio. However, raw multimodal sequences often suffer from semantic inconsistency--exhibiting redundancy or conflicts within and across modalities--which hinders robust understanding and increases computational cost. To this end, we introduce ConsMSA, which explicitly formalizes semantic distribution consistency across both $\textit{intra}$- and $\textit{inter}$-modality, providing a consistency-aware mechanism for robust and efficient multimodal sentiment prediction. Specifically, ConsMSA projects multimodal token features into a shared sentiment space to compute an Intra- and Inter-modality Consistency Score ($I^2CS$). By coupling this score with predictive relevance, we formulate consistency-aware importance signals that are utilized: (i) as a consistency regularizer to align latent distributions during training, (ii) to derive semantic-aware weights for adaptive multimodal token reweighting, and (iii) as a practical criterion to prune redundant or conflicting tokens. Extensive experiments on CMU-MOSI, CMU-MOSEI, and CH-SIMS demonstrate that ConsMSA achieves state-of-the-art performance while remaining robust under aggressive token compression--retaining only 10% of tokens yields comparable accuracy. These results establish semantic distribution consistency as a promising foundation for synergizing predictive robustness with computational efficiency.
• Abstract（参考訳）: マルチモーダル感情分析(MSA)は、テキスト、ビデオ、オーディオなどの様々なモダリティからの信号を統合することで、人間の感情を予測することを目的としている。 しかし、生のマルチモーダルシーケンスは、しばしば意味的不整合、すなわち、モダリティの内外における冗長性や矛盾を排除し、堅牢な理解を妨げ、計算コストを増大させる。 この目的のために、ConsMSAを導入し、$\textit{intra}$-および$\textit{inter}$-modalityの両方で意味的分布の一貫性を明示的に定式化し、堅牢で効率的なマルチモーダル感情予測のための一貫性を考慮したメカニズムを提供する。 具体的には、ConsMSAはマルチモーダルトークンの特徴を共有感情空間に投影し、イントラモダリティおよびインターモーダル一貫性スコア(I^2CS$)を計算する。 このスコアと予測関連性とを結合することにより,一貫性を考慮した重要信号の定式化を行う。 (i)訓練中に潜伏分布を整合させる整合正則化器 (二)適応型マルチモーダルトークン再重み付けのための意味認識重みの導出、及び (三 余分な又は矛盾するトークンを掘り起こすための実践的基準として CMU-MOSI、CMU-MOSEI、CH-SIMSに関する大規模な実験では、ConsMSAは最先端のパフォーマンスを達成しつつ、攻撃的なトークン圧縮の下では堅牢であり、トークンの10%しか保持していないため、同等の精度が得られる。 これらの結果は,予測ロバスト性と計算効率を相乗化するための有望な基盤として,意味分布の整合性を確立する。

関連論文リスト

• I$^2$-KAN: Interpretable Intra- and Inter-Modal Multi-Pathway Representation Learning for Multimodal Sentiment Analysis [19.356938731249386]
  I$2$-KANは、感情分析のための解釈可能なマルチパスフレームワークである。 CMU-MOSI、CMU-MOSEI、CH-SIMS v2の実験では、全体的な性能が向上した。
  論文  参考訳（メタデータ） (2026-10-22T10:57:20Z)
• MSCR: Jointly Balancing Utilization Across Modalities and Discovering Synergistic Information [50.6620040815744]
  マルチモーダル学習において、モダリティの不均衡はしばしば一つのモダリティが最適化を支配し、モデルがクロスモーダル相互作用を完全に活用することを防ぐ。 本稿では,相乗的情報発見と相乗的情報の相乗的利用を共同で促進する融合法であるマルチモーダル相乗的競争規則化器(MSCR)を提案する。
  論文  参考訳（メタデータ） (2026-10-17T02:54:30Z)
• CAMD: Coverage-Aware Multimodal Decoding for Efficient Reasoning of Multimodal Large Language Models [48.33850939857255]
  我々は、サンプリングカバレッジ、インスタンスの難易度、残留リスクをリンクする理論的枠組みを開発する。 解析の結果,マルチモーダル推論は重み付き難易度分布を示すことがわかった。 推定不確実性に応じて動的に割り当てる適応型推論機構であるCoverage-Aware Multimodal Decoding (CAMD)を提案する。
  論文  参考訳（メタデータ） (2026-03-16T02:31:03Z)
• SGMA: Semantic-Guided Modality-Aware Segmentation for Remote Sensing with Incomplete Multimodal Data [31.146366498415784]
  マルチモーダルセマンティックセグメンテーションは、リモートセンシング地球観測のための多様なセンサーからの補完情報を統合する。 IMSSは3つの主要な課題に直面している:マルチモーダル不均衡、支配的なモダリティが脆弱なモダリティを抑えること、スケール、形状、方向のクラス内変化、矛盾するキーと矛盾するセマンティック応答を生み出すクロスモーダル不均一。 本稿では,セマンティック・ガイド・モダリティ・アウェア(SGMA)フレームワークを提案する。セマンティック・モダリティ・アウェア(SGMA)フレームワークは,クラス内変動の低減とセマンティックガイダンスによる相互不整合の緩和を図りつつ,バランスの取れたマルチモーダル学習を実現する。
  論文  参考訳（メタデータ） (2026-03-03T01:28:21Z)
• Beyond Simple Fusion: Adaptive Gated Fusion for Robust Multimodal Sentiment Analysis [27.11612547025828]
  textbfAdaptive textbfGated textbfFusion textbfNetwork。 CMU-MOSIとCMU-MOSEIの実験により、AGFNは精度において強いベースラインを著しく上回り、頑健なパフォーマンスを持つ微妙な感情を効果的に識別することを示した。
  論文  参考訳（メタデータ） (2025-10-02T05:05:41Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• Trustworthy Multimodal Fusion for Sentiment Analysis in Ordinal Sentiment Space [4.58550667556734]
  マルチモーダルビデオ感情分析は、話者の意見や態度を分析するために複数のモーダル情報を統合することを目的としている。 以前のアプローチでは、異なるモダリティを平等に扱うことができ、主に異なる貢献を無視している。 本稿では,TMSON(Multimodal sentiment Ordinal Network)を提案する。
  論文  参考訳（メタデータ） (2024-04-13T08:15:57Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。