論文の概要: Modality Discrepancy Transformer for Ambivalence and Hesitancy Recognition

• arxiv url: http://arxiv.org/abs/2609.19148v1
• Date: Sat, 18 Jul 2026 03:40:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.61354
• Title: Modality Discrepancy Transformer for Ambivalence and Hesitancy Recognition
• Title（参考訳）: アンビバレンス・ヘシタンシー認識のためのモーダリティ離散変換器
• Abstract要約: MDT(Modality Discrepancy Transformer)は、Bekhoucheらによるマルチモーダル融合フレームワークに基づいている。 第3回ABAWチャレンジのBAHデータセットでは,ラベル付きテストスプリットで0.7408 Macro F1,プライベートリーダボードで0.7368を達成した。
• 参考スコア（独自算出の注目度）: 12.309666679300244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ambivalence and hesitancy (A/H) are affective states in which individuals express contradictory signals across facial, vocal, and linguistic channels. Automatically recognising A/H in clinical videos requires detecting cross-modal disagreement -- the signal that standard fusion methods suppress. Based on the conflict-aware multimodal fusion framework of Bekhouche et al., we present the Modality Discrepancy Transformer (MDT). MDT enriches the original 6-token design to a 9-token representation comprising three modality embeddings, three absolute-difference features, and three Hadamard-product discrepancy features learned through linear projections. These nine tokens undergo Transformer self-attention, with FiLM-based text-conditioned modulation and LoRA fine-tuning as core architectural components. A text-guided late fusion branch blends a text-only auxiliary head with the full multimodal output at inference. On the BAH dataset from the 3rd ABAW Challenge, MDT achieves 0.7408 Macro F1 on the labelled test split and 0.7368 on the private leaderboard, outperforming the strongest published baseline by over 10 points while training in under 20 minutes on a single GPU.
• Abstract（参考訳）: A/H(Ambivalence and hesitancy)は、個人が顔、声、言語チャネルにまたがる矛盾した信号を表現している情緒的状態である。 臨床ビデオでA/Hを自動認識するには、標準核融合法が抑制する信号であるクロスモーダルな不一致を検出する必要がある。 本稿では,Bekhoucheらのマルチモーダル融合フレームワークをベースに,MDT(Modality Discrepancy Transformer)を提案する。 MDT は元の 6-token 設計を 3 つのモジュラリティ埋め込み、3 つの絶対差分特徴、3 つのアダマール積差分特徴からなる 9-token 表現に豊かにする。 これらの9つのトークンはTransformer自己アテンションを実行し、FiLMベースのテキスト条件変調とLoRAファインタニングをコアアーキテクチャコンポーネントとして実現した。 テキストガイド付きレイトフュージョンブランチは、テキストのみの補助ヘッドと推論時の完全なマルチモーダル出力をブレンドする。 第3回ABAWチャレンジのBAHデータセットでは,ラベル付きテストスプリットで0.7408 Macro F1,プライベートリーダボードで0.7368を達成した。

関連論文リスト

• SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
  推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。 既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。 明示的なWhat-whereインターフェースであるSeGDePを提示する。
  論文  参考訳（メタデータ） (2026-09-08T15:11:32Z)
• Team RAS in 10th ABAW Competition: Multimodal Valence and Arousal Estimation Approach [53.64487844936037]
  本手法は,顔,行動,音声の3つの相補的なモードを組み合わせる。 実験により,提案したマルチモーダル核融合戦略は, Aff-Wild2 開発セット上で0.658 の一致相関係数(CCC)を達成することを示した。
  論文  参考訳（メタデータ） (2026-03-13T15:06:14Z)
• DiffGRM: Diffusion-based Generative Recommendation Model [63.35379395455103]
  ジェネレーティブレコメンデーション(GR)は、トークン化器を介して各項目をn桁のセマンティックID(SID)として表現する新興パラダイムである。 自己回帰デコーダをマスク付き離散拡散モデル(MDM)に置き換える拡散ベースGRモデルDiffGRMを提案する。 実験では、複数のデータセットに対する強力な生成的および差別的推奨ベースラインよりも一貫した利得を示す。
  論文  参考訳（メタデータ） (2025-10-21T03:23:32Z)
• Resilient Multimodal Industrial Surface Defect Detection with Uncertain Sensors Availability [36.47453216758195]
  マルチモーダル工業用表面欠陥検出(MISDD)は,RGBと3Dモダリティを融合させることにより,工業製品の欠陥を特定し,発見することを目的としている。 本稿は,MISDDにおけるセンサの不確実性に起因するモダリティ欠落問題に焦点をあてる。
  論文  参考訳（メタデータ） (2025-09-03T03:00:24Z)
• RAVEN: Query-Guided Representation Alignment for Question Answering over Audio, Video, Embedded Sensors, and Natural Language [1.5599296461516985]
  RAVENは、クエリ条件のクロスモーダルゲーティングモジュールであるQuARTをコアとする統一QAアーキテクチャである。 RAVENは、単調な事前トレーニング、クエリ整合融合、不一致指向の微調整を含む3段階のパイプラインを通じてトレーニングされる。 実験の結果、RAVENは最先端のマルチモーダル言語モデルと比較して14.5%と8.0%の精度で向上した。
  論文  参考訳（メタデータ） (2025-05-21T14:33:36Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• LMR-CBT: Learning Modality-fused Representations with CB-Transformer for Multimodal Emotion Recognition from Unaligned Multimodal Sequences [5.570499497432848]
  マルチモーダル感情認識のためのCB-Transformer (LMR-CBT) を用いて, モダリティ融合表現を学習するための効率的なニューラルネットワークを提案する。 3つの挑戦的なデータセット上で、単語整列と非整列の実験を行います。
  論文  参考訳（メタデータ） (2021-12-03T03:43:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。