論文の概要: SAC$^2$-Net: Semantic Anchoring and Complementary-Consensus Fusion for Multimodal Micro-Expression Recognition

• arxiv url: http://arxiv.org/abs/2606.25542v1
• Date: Wed, 24 Jun 2026 08:20:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.276
• Title: SAC$^2$-Net: Semantic Anchoring and Complementary-Consensus Fusion for Multimodal Micro-Expression Recognition
• Title（参考訳）: SAC$^2$-Net:マルチモーダルマイクロ圧縮認識のための意味的アンコリングと補間融合
• Abstract要約: マイクロ圧縮認識(MER)は、微妙な顔の動き、限られたデータ、および行動単位(AU)と感情カテゴリーのあいまいな関係が原因で困難である。 マルチモーダルMERのためのセマンティックアンコリング・コンセンサスネットワークであるSAC$2$-Netを提案する。 SAC$2$-Netは、粗い粒度、きめ細かな粒度、大規模、データセット間の評価設定において、最先端または高い競争性能を実現する。
• 参考スコア（独自算出の注目度）: 5.567888983005847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Micro-expression recognition (MER) is challenging due to subtle facial movements, limited data, and the ambiguous relationship between Action Units (AUs) and emotion categories. Optical flow and motion magnification have been widely used to describe subtle facial dynamics from different perspectives: the former captures local motion displacement, while the latter amplifies weak appearance changes. In this work, we observe that these two modalities often exhibit asymmetric failure patterns: one modality may become noisy, distorted, or uninformative, while the other still preserves discriminative AU-related evidence. This phenomenon reveals their complementarity, but also raises two key challenges for fusion: cross-modal heterogeneity and spatially varying modality reliability. Motivated by this observation, we propose SAC$^2$-Net, a Semantic Anchoring and Complementary-Consensus Network for multimodal MER, which first aligns visual modalities with semantic anchors and then performs reliability-aware fusion. To reduce cross-modal heterogeneity before fusion, we introduce Semantic Anchoring Soft Alignment (SASA), which converts activated AUs into textual prompts and uses them as stable semantic anchors to align motion-magnified and optical-flow representations. Unlike hard contrastive learning, SASA constructs hierarchical AU-aware soft labels to preserve semantic proximity among samples with overlapping or anatomically related AU patterns. Based on the aligned representations, Complementary-Consensus Fusion (CCF) first repairs unreliable local evidence through complementary exchange and then enforces a shared spatial focus through consensus refinement. Extensive experiments on five MER benchmarks show that SAC$^2$-Net achieves state-of-the-art or highly competitive performance across coarse-grained, fine-grained, large-scale, and cross-dataset evaluation settings.
• Abstract（参考訳）: マイクロ圧縮認識(MER)は、微妙な顔の動き、限られたデータ、および行動単位(AU)と感情カテゴリーのあいまいな関係が原因で困難である。 光の流れと動きの倍率(英語版)は、異なる視点から微妙な顔のダイナミクスを記述するために広く用いられており、前者は局所的な動きの変位を捉え、後者は弱い外観変化を増幅している。 本研究では,これらの2つのモダリティが非対称な障害パターンを示す場合が多く,一方のモダリティはノイズ,歪,あるいは非形式的になりうるが,他方のモダリティは相変わらず識別性のあるAU関連証拠を保存している。 この現象は相補性を示すが、融合の2つの重要な課題、すなわち異種交雑と空間的に異なるモダリティの信頼性を生じさせる。 本研究は,マルチモーダルMERのためのセマンティックアンカリング・コンセンサスネットワークであるSAC$^2$-Netを提案する。 融合前の異種性を低減するために,アクティベートされたAUをテキストのプロンプトに変換するセマンティックアンカリングソフトアライメント(SASA)を導入し,それらを安定なセマンティックアンカーとして使用し,動画像および光フロー表現の整列を図る。 ハードコントラスト学習とは異なり、SASAは、重複または解剖学的に関連付けられたAUパターンを持つサンプル間のセマンティックな親和性を維持するために、階層的なAU対応のソフトラベルを構築する。 整列された表現に基づいて、補足的融合(Complementary-Consensus Fusion, CCF)はまず、補足的交換を通じて信頼できない局所的証拠を修復し、コンセンサスの改良を通じて共有空間的焦点を強制する。 5つのMERベンチマークにおいて、SAC$^2$-Netは、粗い粒度、きめ細かな粒度、大規模、およびクロスデータセット評価設定にまたがって、最先端または高い競争性能を達成することを示した。

関連論文リスト

• UMSS: Towards Unsupervised Multi-modal Semantic Segmentation [6.785303759588842]
  我々は、unsupervised Multimodal Semantic (UMSS) の問題を解決するための最初の試みを行っている。 従来の融合手法を一貫した性能向上に変換するDINOv3上に構築された新しいフレームワークUniM2を提案する。 私たちのキーとなるアイデアは、Cross Modal Cor correspondingence Synergy(CMCS)によって駆動される統一潜在空間を学習し、固有の共有セマンティックキューを抽出することです。
  論文  参考訳（メタデータ） (2026-07-14T05:44:29Z)
• STAR: Semantic-Temporal Adaptive Representation Learning for Few-Shot Action Recognition [23.546777614096424]
  Few-shot Action Recognition (FSAR) は、少数の注釈付きサンプルから新しいアクションカテゴリを一般化するモデルを必要とする。 視覚言語モデルの進歩にもかかわらず、既存のアプローチは意味的時間的ミスアライメントに悩まされている。 本稿では,セマンティック・テンポラル適応表現学習(STAR)を提案し,セマンティック・アライメント・コンポーネントとテンポラル・アライメント・コンポーネントからなる統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-13T08:54:38Z)
• Chain of Modality: From Static Fusion to Dynamic Orchestration in Omni-MLLMs [84.3271821505699]
  カオス・オブ・モダリティ(Chain of Modality, CoM)は、マルチモーダル融合を受動的結合から動的オーケストレーションに移行するエージェントフレームワークである。 CoMはトレーニングフリーまたはデータ効率のSFT設定で動作し、様々なベンチマークで堅牢で一貫した一般化を実現する。
  論文  参考訳（メタデータ） (2026-04-16T01:21:14Z)
• Bridging Pixels and Words: Mask-Aware Local Semantic Fusion for Multimodal Media Verification [13.571218577944032]
  MaLSF(Mask-aware Local Semantic Fusion)は、パラダイムをアクティブな双方向検証に移行する新しいフレームワークである。 マスクとラベルのペアをセマンティックアンカーとして使用し、ピクセルと単語をブリッジする。 MaLSFはDGM4とマルチモーダルのフェイクニュース検出タスクの両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T03:38:38Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• Rethinking Occlusion in FER: A Semantic-Aware Perspective and Go Beyond [10.015531203047598]
  顔の閉塞を曖昧にするための補助的マルチモーダル・セマンティックガイダンスを導入したORSANetを提案する。 また,性差や性差などの内在性雑音を緩和するために,顔のランドマークをスパース幾何学として導入する。 提案するORSANetは,SOTA認識性能を実現する。
  論文  参考訳（メタデータ） (2025-07-21T09:04:29Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• Exploring Homogeneous and Heterogeneous Consistent Label Associations for Unsupervised Visible-Infrared Person ReID [57.500045584556794]
  均質かつ不均一なインスタンスレベルの構造を同時に説明できるModality-Unified Label Transfer (MULT) モジュールを導入する。 提案したMULTは、生成した擬似ラベルがモダリティ間の整合性を維持しつつ、モダリティ内の構造的整合性を維持することを保証する。 実験の結果,提案手法は既存のUSL-VI-ReID法よりも優れていた。
  論文  参考訳（メタデータ） (2024-02-01T15:33:17Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• Semantic-aligned Fusion Transformer for One-shot Object Detection [18.58772037047498]
  ワンショットオブジェクト検出は、与えられた1つのインスタンスに従って新しいオブジェクトを検出することを目的としている。 現在のアプローチでは、直接転送可能なメタ知識を得るために様々な特徴融合を探索している。 本稿では,これらの問題を解決するために,Semantic-aligned Fusion Transformer (SaFT) というシンプルなアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-03-17T05:38:47Z)
• Group Gated Fusion on Attention-based Bidirectional Alignment for Multimodal Emotion Recognition [63.07844685982738]
  本稿では、LSTM隠蔽状態上の注目に基づく双方向アライメントネットワークで構成されるGBAN(Gated Bidirectional Alignment Network)と呼ばれる新しいモデルを提案する。 LSTMの最後の隠れ状態よりもアテンション整列表現の方が有意に優れていたことを実証的に示す。 提案したGBANモデルは、IEMOCAPデータセットにおける既存の最先端マルチモーダルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-01-17T09:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。