論文の概要: Multimodal Ambivalence and Hesitancy Recognition via Cross-Attention and Gated Fusion

• arxiv url: http://arxiv.org/abs/2607.15779v1
• Date: Fri, 17 Jul 2026 09:23:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.812638
• Title: Multimodal Ambivalence and Hesitancy Recognition via Cross-Attention and Gated Fusion
• Title（参考訳）: クロスアテンションとゲーテッドフュージョンによるマルチモーダルアンビバレンスとヘシタンシー認識
• Abstract要約: 本稿では,ECCV 2026におけるABAW11チャレンジのために開発されたビデオにおけるAmbivalence/Hesitancy(A/H)認識のためのフレームワークを提案する。 提案手法は,BAHデータセットから抽出したテキスト,音響,視覚のモダリティを融合する。 このモデルは検証セット上で textbf0.7394 のマクロ F1 を達成する。
• 参考スコア（独自算出の注目度）: 1.6950215926321557
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a multimodal framework for Ambivalence/Hesitancy (A/H) recognition in video, developed for the ABAW11 challenge at ECCV 2026. The proposed approach fuses textual, acoustic, and visual modalities extracted from the BAH dataset using three pretrained encoders: F2LLM-v2-0.6B for transcripts (1024-d), WavLM-Large for audio (1024-d), and VideoMAE V2 for facial video (768-d). We first establish comprehensive unimodal baselines using classical classifiers (MLP, Random Forest, GBDT), each optimized via Optuna, and obtain a best unimodal Macro F1 of \textbf{0.6659} on the test set using text features alone -- substantially outperforming the zero-shot Video-LLaVA baseline (Macro F1: 0.2827). Building on these baselines, we propose a multimodal fusion architecture that combines bidirectional cross-attention across all three modalities with a Gated Multimodal Unit (GMU), with both architectural and optimization hyperparameters selected through a 50-trial Optuna search. This model achieves a Macro F1 of \textbf{0.7394} on the validation set, a relative improvement of 11.0\% over the best unimodal baseline, confirming that explicit cross-modal interaction captures complementary cues that no single modality provides in isolation. Final predictions on the official, unlabeled private test set are generated using this model and submitted according to the challenge protocol. Code is publicly available at https://github.com/yassineouzar/IUSD_AH/
• Abstract（参考訳）: 本稿では,ECCV 2026におけるABAW11チャレンジのために開発されたビデオにおけるAmbivalence/Hesitancy(A/H)認識のためのマルチモーダルフレームワークを提案する。 提案手法は,3つの事前訓練エンコーダ (F2LLM-v2-0.6B for transcripts (1024-d), WavLM-Large for audio (1024-d), VideoMAE V2 for Face Video (768-d) を用いて,BAHデータセットから抽出したテキスト,音響,視覚のモダリティを融合する。 まず,古典的分類器 (MLP, Random Forest, GBDT) を用いて一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元 これらのベースラインを基盤として,GMU(Gated Multimodal Unit)と,50-trial Optunaサーチによって選択されたアーキテクチャと最適化ハイパーパラメータを組み合わせた,双方向の3つのモーダル間の融合アーキテクチャを提案する。 このモデルは、検証セット上でのtextbf{0.7394} のマクロ F1 を達成し、最高の単調ベースラインよりも11.0\% の相対的な改善を達成し、明示的なクロスモーダル相互作用が単一のモダリティが単独で与えない相補的なキューを捕捉することを確認した。 公式な未ラベルのプライベートテストセットに関する最終的な予測は、このモデルを使用して生成され、チャレンジプロトコルに従って提出される。 コードはhttps://github.com/yassineouzar/IUSD_AH/で公開されている。

関連論文リスト

• Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach [52.92973028971813]
  ビデオレベルのアンビバレンスとヘシタシー認識のための単一のテキスト中心マルチモーダルアプローチを提案する。 提案手法は,テキスト中心のマルチモーダル融合モデルを用いて,言語的,音響的,顔的,シーン的特徴を組み合わせたものである。 行動共生/衛生(BAH)コーパスの実験は、テキストが最強の単調なモダリティであることを確認した。
  論文  参考訳（メタデータ） (2026-07-16T08:04:23Z)
• MJEPA: A Simple and Scalable Joint-Embedding Predictive Architecture for Audio-Visual Learning [15.707226798418]
  大規模ビデオデータからの自己教師付き学習が視覚表現学習の主流のパラダイムとして浮上している。 既存の方法は、モダリティ固有のエンコーダと、コントラストや再構成目的の複雑な組み合わせに依存している。 両モードで単一の統一エンコーダを使用する音声・視覚学習のための共同埋め込み型予測アーキテクチャであるMJEPAを紹介する。
  論文  参考訳（メタデータ） (2026-06-23T22:48:42Z)
• Traits Run Deeper: Trait-Specific Asymmetric Fusion for Personality Assessment [53.50824432699408]
  Traits Run Deeperは、新しいパーソナリティアセスメントフレームワークである。 MFR(Multimodal Foundation Representation)、TSMF(Trit-Specific Modality Fusion)、DCPR(Distributed-Calibrated Personality Regression)の3つのコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2026-06-09T06:38:36Z)
• Solution for 10th Competition on Ambivalence/Hesitancy (AH) Video Recognition Challenge using Divergence-Based Multimodal Fusion [0.0]
  第10回ABAWコンペティション(CVPR 2026)におけるA/Hビデオ認識チャレンジへの取り組み 本稿では,視覚的,音声的,テキスト的チャネル間の相互競合を明示的に測定する分散型マルチモーダル融合を提案する。 提案手法は, 検証テストセットにおいて0.6808のマクロF1を達成し, 課題ベースラインの0.2827を上回った。
  論文  参考訳（メタデータ） (2026-03-15T15:37:25Z)
• Team LEYA in 10th ABAW Competition: Multimodal Ambivalence/Hesitancy Recognition Approach [43.09390014734485]
  本稿では,制約のないビデオにおけるアンビバレンス/ヘシタシー認識のためのマルチモーダルアプローチを提案する。 提案手法は,シーン,顔,音声,テキストの4つの相補的モダリティを統合する。 BAHコーパスの実験では、全ての単調基底線上でのマルチモーダル核融合の明らかな利得が示されている。
  論文  参考訳（メタデータ） (2026-03-13T09:50:03Z)
• JavisDiT++: Unified Modeling and Optimization for Joint Audio-Video Generation [112.614973927778]
  ジョイントオーディオビデオ生成(JAVG)は、テキスト記述から同期的で意味的に整合した音と視覚を生成する。 本稿では,JAVGの統一モデリングと最適化のためのフレームワークであるJavisDiT++を提案する。 本モデルでは,約100万の公開トレーニングエントリで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-22T12:44:28Z)
• UniWeTok: An Unified Binary Tokenizer with Codebook Size $\mathit{2^{128}}$ for Unified Multimodal Large Language Model [50.68870074090426]
  我々はUniWeTokを紹介した。UniWeTokはUniified Multimodal Large Language Modelsのための統一された離散トークンである。 トレーニングフレームワークとして,個別トークンのセマンティックな抽出と生成を促進するために,プレポスト蒸留とジェネレーティブ・アウェア・プレファレンスを導入する。 我々は,UniWeTokの適応性を高めるために,様々な画像解像度と知覚に敏感なシナリオを横断する3段階のトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-15T15:07:19Z)
• GateFusion: Hierarchical Gated Cross-Modal Fusion for Active Speaker Detection [19.80016468034245]
  GateFusionは、強力な事前訓練された単調エンコーダと階層型Gated Fusion Decoder(HiGate)を組み合わせた新しいアーキテクチャである。 HiGateは、Transformerのバックボーンの複数の層で、1つのモードからもう1つのモードにコンテキスト特徴を適応的に注入することで、プログレッシブで多次元の融合を可能にする。
  論文  参考訳（メタデータ） (2025-12-17T18:56:52Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
  機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。 複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。 我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-30T22:44:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。