論文の概要: CALM-AH: An ABAW11-Calibrated Multimodal Ensemble with Reliability-Gated Multi-Expert Consensus for Video-Level Ambivalence and Hesitancy Recognition
- arxiv url: http://arxiv.org/abs/2607.29310v1
- Date: Fri, 31 Jul 2026 11:37:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 16:35:22.229119
- Title: CALM-AH: An ABAW11-Calibrated Multimodal Ensemble with Reliability-Gated Multi-Expert Consensus for Video-Level Ambivalence and Hesitancy Recognition
- Title（参考訳）: CALM-AH: ABAW11-Calibrated Multimodal Ensemble with Reliability-Gated Multi-Expert Consensus for Video-Level Ambivalence and Hesitancy Recognition
- Abstract要約: ABAW11 A/Hビデオ認識チャレンジは、各自然言語インタビュービデオにバイナリA/Hラベルを割り当てるようにシステムに要求する。
本稿では,多モードアンサンブルであるCALM-AHについて述べる。
さらに,初期予測と3つの補完的な補正専門家を組み合わせたアンカー保存型意思決定レベルアンサンブルであるReliability-Gated Multi-Expert Consensus(RG-MEC)を紹介する。
- 参考スコア（独自算出の注目度）: 13.270837043204496
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ambivalence and hesitancy (A/H) are subtle behavioural states that may be expressed through language, voice, facial activity, and other non-verbal cues. The ABAW11 A/H Video Recognition Challenge asks systems to assign a binary A/H label to each naturalistic interview video. Performance is measured using Macro-F1 so that recognition of both A/H and No-A/H samples receives equal importance. We present CALM-AH, a multimodal ensemble that combines textual, acoustic, visual, and derived behavioural-statistical features. We construct 15 non-empty combinations of these feature branches. For each combination, we select the best of three classifier families using validation binary cross-entropy and optimise its decision threshold for validation Macro-F1. The resulting binary decisions are combined using fixed hard-voting weights transferred from BROTHER. We further introduce Reliability-Gated Multi-Expert Consensus(RG-MEC), an anchor-preserving decision-level ensemble that combines an initial prediction with three complementary correction experts: CALM-AH, AffectGPT, and a GPT-based semantic verifier. The initial system provides the default prediction. Its label is overridden only when all three correction experts unanimously support the same alternative class; otherwise, the anchor prediction is retained. This unanimity-gated design limits the influence of isolated expert errors while permitting bidirectional correction when task-specific, multimodal-affective, and semantic-pragmatic evidence are fully consistent. On the participant-disjoint ABAW11 dataset, CALM-AH achieves a Macro-F1 of 0.7525, and the complete RG-MEC system achieves 0.7771.
- Abstract（参考訳）: A/H(Ambivalence and hesitancy)は、言語、声、顔の活動、その他の非言語的手がかりを通じて表現される微妙な行動状態である。
ABAW11 A/Hビデオ認識チャレンジは、各自然言語インタビュービデオにバイナリA/Hラベルを割り当てるようにシステムに要求する。
マクロF1を用いて、A/HサンプルとNo-A/Hサンプルの両方の認識が同等に重要となるように、性能を測定する。
本稿では,多モードアンサンブルであるCALM-AHについて述べる。
これらの機能ブランチの空でない組み合わせを15個構築する。
それぞれの組み合わせに対して、検証二項クロスエントロピーを用いて3つの分類ファミリのベストを選択し、その決定しきい値をMacro-F1の検証に最適化する。
結果として得られる二項決定は、BROTHERから転送される固定された投票重みによって結合される。
さらに, アンカー保存型決定レベルアンサンブルであるReliability-Gated Multi-Expert Consensus (RG-MEC) を, CALM-AH, AffectGPT, GPTベースのセマンティック検証器と組み合わせて導入する。
最初のシステムはデフォルトの予測を提供する。
ラベルは、3つの修正専門家が同じ代替クラスを全会一致でサポートする場合にのみオーバーライドされ、そうでなければアンカー予測が保持される。
この一義的な設計は、タスク固有の、マルチモーダル・アフェクティブ、セマンティック・プラグマティックなエビデンスが完全に一致している場合に、双方向の修正を許可しながら、孤立した専門家のエラーの影響を制限する。
ABAW11データセットでは、CALM-AHはマクロF1の0.7525を達成し、完全なRG-MECシステムは0.7771を達成している。
関連論文リスト
- Knowledge-Guided Multimodal Reasoning over Interacting Streams for Video-Level Ambivalence and Hesitancy Recognition [0.9297355862757838]
PRISM-AHはA/Hを時間とともに展開するマルチモーダルコンフリクトとして扱うフレームワークである。
知識誘導型大規模言語モデルは、データセットの専門的な分類法を用いて、構造化された証拠を理由づける。
525ビデオのラベル付き公開テストパーティションでは、PRISM-AHは0.2827のゼロショットベースラインと比較して0.6133のマクロF1を達成する。
論文 参考訳（メタデータ） (2026-07-28T16:44:38Z) - Multimodal Ambivalence and Hesitancy Recognition via Cross-Attention and Gated Fusion [1.6950215926321557]
本稿では,ECCV 2026におけるABAW11チャレンジのために開発されたビデオにおけるAmbivalence/Hesitancy(A/H)認識のためのフレームワークを提案する。
提案手法は,BAHデータセットから抽出したテキスト,音響,視覚のモダリティを融合する。
このモデルは検証セット上で textbf0.7394 のマクロ F1 を達成する。
論文 参考訳（メタデータ） (2026-07-17T09:23:36Z) - Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。
我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。
ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
論文 参考訳（メタデータ） (2026-07-07T10:10:00Z) - Dynamic Spectral Denoising with Global-Context Attention for Multi-Behavior Recommendation [58.33732779555114]
重要なボトルネックは、2つの結合した不均一性によって引き起こされる表現レベルの失敗である、と我々は主張する。
マルチビヘイビアレコメンデーション(SpectraMB)のためのグローバルコンテキストを考慮した動的スペクトルデノベーションを提案する。
SpectraMBは、ほとんどの評価設定で最高の結果を達成し、ノイズのある相互作用下での堅牢性の向上を示す。
論文 参考訳（メタデータ） (2026-06-01T15:58:13Z) - AffectAgent: Collaborative Multi-Agent Reasoning for Retrieval-Augmented Multimodal Emotion Recognition [62.16431420189863]
LLMに基づくマルチモーダル感情認識は静的なパラメトリックメモリに依存しており、ニュアンス化された感情状態の解釈時にしばしば幻覚を与える。
本稿では,感情指向型マルチエージェント検索拡張生成フレームワークであるAffectAgentを紹介する。
AffectAgentは3つの共同最適化されたエージェント、すなわちクエリプランナー、エビデンスフィルタ、感情生成器から構成される。
論文 参考訳（メタデータ） (2026-04-14T13:49:19Z) - BROTHER: Behavioral Recognition Optimized Through Heterogeneous Ensemble Regularization for Ambivalence and Hesitancy [39.407739937584104]
自然主義的なビデオ設定におけるA/H(Ambivalence and Hesitancy)は、感情コンピューティングにおいて重要な課題である。
ビデオレベルでのA/H予測のために,高度に正規化されたマルチモーダル融合パイプラインを提案する。
論文 参考訳（メタデータ） (2026-03-15T12:53:41Z) - Feature-level Interaction Explanations in Multimodal Transformers [1.7101146971136896]
マルチモーダルトランスフォーマーは、異なるモーダルが共同で意思決定をどのように支援するかを明確にすることなく、予測を生成する。
本稿では,凍結した事前学習エンコーダからトークン/パッチシーケンスを直接操作する構造化Mixture-of-Experts層であるFeature-level I2MoEを提案する。
我々は,帰属とトップK%マスキングを組み合わせ,忠実度を評価する専門的な説明パイプラインを開発する。
論文 参考訳（メタデータ） (2026-03-04T18:24:31Z) - DiffGRM: Diffusion-based Generative Recommendation Model [63.35379395455103]
ジェネレーティブレコメンデーション(GR)は、トークン化器を介して各項目をn桁のセマンティックID(SID)として表現する新興パラダイムである。
自己回帰デコーダをマスク付き離散拡散モデル(MDM)に置き換える拡散ベースGRモデルDiffGRMを提案する。
実験では、複数のデータセットに対する強力な生成的および差別的推奨ベースラインよりも一貫した利得を示す。
論文 参考訳（メタデータ） (2025-10-21T03:23:32Z) - BiXFormer: A Robust Framework for Maximizing Modality Effectiveness in Multi-Modal Semantic Segmentation [55.486872677160015]
マスクレベルの分類タスクとしてマルチモーダルなセマンティックセグメンテーションを再構成する。
統一モダリティマッチング(UMM)とクロスモダリティアライメント(CMA)を統合したBiXFormerを提案する。
合成および実世界のマルチモーダルベンチマーク実験により,本手法の有効性を実証した。
論文 参考訳（メタデータ） (2025-06-04T08:04:58Z) - Trusted Multi-View Classification with Dynamic Evidential Fusion [73.35990456162745]
信頼型マルチビュー分類(TMC)と呼ばれる新しいマルチビュー分類アルゴリズムを提案する。
TMCは、様々な視点をエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。
理論的および実験的結果は、精度、堅牢性、信頼性において提案されたモデルの有効性を検証した。
論文 参考訳（メタデータ） (2022-04-25T03:48:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。