論文の概要: HSEmotion Team at the 11th ABAW Challenge: Multi-Task Learning and Ambivalence/Hesitancy Video Recognition

• arxiv url: http://arxiv.org/abs/2607.12774v1
• Date: Tue, 14 Jul 2026 13:45:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.16143
• Title: HSEmotion Team at the 11th ABAW Challenge: Multi-Task Learning and Ambivalence/Hesitancy Video Recognition
• Title（参考訳）: HSEmotion Team at the 11th ABAW Challenge: Multi-Task Learning and Ambivalence/Hesitancy Video Recognition
• Abstract要約: 本稿では,第11回ABAW(Affective Behavior Analysis in-the-Wild)コンペティションの結果について述べる。 軽量顔抽出装置MT-EmotiDDAMFNとMT-EmotiEffNet-B0を別個の頭部と系統的後処理で使用した。 アンビバレンス/ヘシタシービデオ認識では,ビデオレベルのMacro F1にオーディオビジョンパイプラインを拡張する。
• 参考スコア（独自算出の注目度）: 37.55146299178429
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This article presents our results for the 11th Affective Behavior Analysis in-the-Wild (ABAW) competition. For multi-task learning with simultaneous prediction of valence, arousal, facial expressions, and action units on s-Aff-Wild2 dataset, we use frozen lightweight facial extractors, MT-EmotiDDAMFN and MT-EmotiEffNet-B0, with separate heads and systematic post-processing: temporal Gaussian smoothing, per-class expression bias, AffectNet blending, per-AU threshold tuning, and weighted backbone fusion. On the official validation set, our ensemble significantly exceeds the performance of the ConvNeXt baseline. For ambivalence/hesitancy video recognition on the expanded BAH dataset, we extend the audiovisual pipeline to video-level Macro F1 by late fusion of face, HuBERT audio, and RoBERTa text classifiers, temporal aggregation, and a global-text gate. Frame-level Weighted F1 on validation set rises from 0.74 in ABAW-8 to 0.79, while the best public-test video-level Macro F1 reaches 0.73. In both tasks, competitive performance is achieved without fine-tuning heavy backbones. These results indicate that systematic prediction calibration and lightweight multimodal fusion can rival substantially heavier end-to-end approaches while offering improved efficiency and deployment flexibility.
• Abstract（参考訳）: 本稿では,第11回ABAW(Affective Behavior Analysis in-the-Wild)コンペティションの結果について述べる。 s-Aff-Wild2データセット上での原子価,覚醒,表情,行動単位の同時予測を行うマルチタスク学習では,凍結軽量顔抽出器MT-EmotiDDAMFNとMT-EmotiEffNet-B0を用いて,時間的ガウス平滑化,クラスごとの表現バイアス,AffectNetブレンド,AU閾値調整,重み付き後骨融合を行った。 公式の検証セットでは、我々のアンサンブルはConvNeXtベースラインのパフォーマンスを大幅に上回る。 拡張されたBAHデータセット上でのアンビバレンス/ヘシテンシービデオ認識のために、音声視覚パイプラインを、顔、HuBERTオーディオ、RoBERTaテキスト分類器、時間的アグリゲーション、グローバルテキストゲートの後期融合により、ビデオレベルMacro F1に拡張する。 ABAW-8のフレームレベルの重み付けF1は0.74から0.79に上昇し、最も優れた公開テストビデオレベルのマクロF1は0.73に達した。 両方のタスクにおいて、競争性能は、微調整された重いバックボーンなしで達成される。 これらの結果から,系統的な予測校正と軽量なマルチモーダル融合は,効率と展開の柔軟性を向上しつつ,より重いエンドツーエンドアプローチに匹敵する可能性が示唆された。

関連論文リスト

• P2Fusion: Prompt-based Progressive Infrared-Visible Image Fusion via Dual-Prior Distillation [73.147281449267]
  我々は、赤外線可視画像融合を再構成する事前誘導蒸留に基づくフレームワークであるP2Fusionを提案する。 ハードコードされたペナルティを課す代わりに、画像固有の先例、熱塩分率、空間的品質を学習可能な動的レギュレータに蒸留する。 P2Fusionは5つのベンチマークで20の主要評価指標のうち14で最先端の結果を達成する。
  論文  参考訳（メタデータ） (2026-08-13T10:09:49Z)
• Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach [52.92973028971813]
  ビデオレベルのアンビバレンスとヘシタシー認識のための単一のテキスト中心マルチモーダルアプローチを提案する。 提案手法は,テキスト中心のマルチモーダル融合モデルを用いて,言語的,音響的,顔的,シーン的特徴を組み合わせたものである。 行動共生/衛生(BAH)コーパスの実験は、テキストが最強の単調なモダリティであることを確認した。
  論文  参考訳（メタデータ） (2026-07-16T08:04:23Z)
• BROTHER: Behavioral Recognition Optimized Through Heterogeneous Ensemble Regularization for Ambivalence and Hesitancy [39.407739937584104]
  自然主義的なビデオ設定におけるA/H(Ambivalence and Hesitancy)は、感情コンピューティングにおいて重要な課題である。 ビデオレベルでのA/H予測のために,高度に正規化されたマルチモーダル融合パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-15T12:53:41Z)
• Team RAS in 10th ABAW Competition: Multimodal Valence and Arousal Estimation Approach [53.64487844936037]
  本手法は,顔,行動,音声の3つの相補的なモードを組み合わせる。 実験により,提案したマルチモーダル核融合戦略は, Aff-Wild2 開発セット上で0.658 の一致相関係数(CCC)を達成することを示した。
  論文  参考訳（メタデータ） (2026-03-13T15:06:14Z)
• Team LEYA in 10th ABAW Competition: Multimodal Ambivalence/Hesitancy Recognition Approach [43.09390014734485]
  本稿では,制約のないビデオにおけるアンビバレンス/ヘシタシー認識のためのマルチモーダルアプローチを提案する。 提案手法は,シーン,顔,音声,テキストの4つの相補的モダリティを統合する。 BAHコーパスの実験では、全ての単調基底線上でのマルチモーダル核融合の明らかな利得が示されている。
  論文  参考訳（メタデータ） (2026-03-13T09:50:03Z)
• A Two-Stage Dual-Modality Model for Facial Emotional Expression Recognition [5.014305646574725]
  本稿では,第10回ABAWワークショップおよびコンペティションにおけるEXPR認識課題について論じる。 拘束されていないビデオから8つの顔の感情表現をフレームレベルで分類する必要がある。 これらの問題に対処する2段階のデュアルモーダル(音響・視覚)モデルを提案する。
  論文  参考訳（メタデータ） (2026-03-12T17:45:12Z)
• $\mathcal{E}_0$: Enhancing Generalization and Fine-Grained Control in VLA Models via Continuized Discrete Diffusion [65.77755100137728]
  本稿では、量子化されたアクショントークンを反復的にデノケーションするアクション生成を定式化する、連続的な離散拡散フレームワークであるE0を紹介する。 E0は14の多様な環境において最先端のパフォーマンスを達成し、平均して10.7%強のベースラインを達成している。
  論文  参考訳（メタデータ） (2025-11-26T16:14:20Z)
• Uni-MoE-2.0-Omni: Scaling Language-Centric Omnimodal Large Model with Advanced MoE, Training and Data [55.65426108082807]
  Uni-MoE-2.0-Omniをスクラッチから3つのコアコントリビューションで構築しています。 雑用的な理解や、画像、テキスト、音声を生成することができる。
  論文  参考訳（メタデータ） (2025-11-16T14:10:55Z)
• Dual-Stream Diffusion for World-Model Augmented Vision-Language-Action Model [62.889356203346985]
  本稿では,モダリティ競合を処理する世界モデル拡張VLAフレームワークである Dual-STream diffusion (DUST) を提案する。 DUSTは標準のVLAベースラインと暗黙のワールドモデリングメソッドよりも最大6%向上する。 Franka Research 3による実世界のタスクでは、DUSTは成功率のベースラインを13%上回っている。
  論文  参考訳（メタデータ） (2025-10-31T16:32:12Z)
• MF2Summ: Multimodal Fusion for Video Summarization with Temporal Alignment [5.922172844641853]
  本稿では,マルチモーダルコンテンツ理解に基づく新しい映像要約モデルであるMF2Summを紹介する。 MF2Summは、特徴抽出、モーダル間アテンション相互作用、特徴融合、セグメント予測、キーショット選択という5段階のプロセスを採用している。 SumMeおよびTVSumデータセットの実験結果から,MF2Summが競合性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-06-12T07:32:51Z)
• HSEmotion Team at the 7th ABAW Challenge: Multi-Task Learning and Compound Facial Expression Recognition [16.860963320038902]
  HSEmotionチームは,第7回ABAW(Affective Behavior Analysis in-the-wild)コンペティションの2つの課題について報告する。 マルチタスク設定で事前学習したフレームレベルの顔特徴抽出器に基づく効率的なパイプラインを提案する。 ニューラルネットワークの軽量アーキテクチャを利用することで、私たちのテクニックのプライバシ意識を確保する。
  論文  参考訳（メタデータ） (2024-07-18T05:47:49Z)
• Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
  本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。 アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。 われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
  論文  参考訳（メタデータ） (2022-12-01T17:31:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。