Fugu-MT 論文翻訳(概要): SVF-CR: Synchronized Visual-Facial Cross-Refinement for Multimodal Ambivalence and Hesitancy Recognition

論文の概要: SVF-CR: Synchronized Visual-Facial Cross-Refinement for Multimodal Ambivalence and Hesitancy Recognition

arxiv url: http://arxiv.org/abs/2607.09417v1
Date: Fri, 10 Jul 2026 13:48:35 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-13 14:47:12.855153
Title: SVF-CR: Synchronized Visual-Facial Cross-Refinement for Multimodal Ambivalence and Hesitancy Recognition
Title（参考訳）: SVF-CR : マルチモーダルアンビバレンスとヘシタンシー認識のための同期型ビジュアルファシアルクロスリファインメント
Abstract要約: アンビバレンスとヘシテンシー(英: Ambivalence and hesitancy)は、言葉の内容、顔の振る舞い、視覚的文脈、音響的手がかりの組み合わせによって表現される微妙な行動状態である。両端に多モーダルなエビデンスを融合した視覚・顔のクロスリファインメント・フレームワーク(SVF-CR)を提案する。
参考スコア（独自算出の注目度）: 4.562539324528659
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Ambivalence and hesitancy are subtle behavioral states that are expressed through a combination of verbal content, facial behavior, visual context, and acoustic cues. Effective recognition therefore requires not only extracting informative unimodal representations, but also modeling how temporally aligned behavioral evidence interacts across modalities. In this paper, we propose a synchronized visual-facial cross-refinement framework (SVF-CR) with pairwise multimodal evidence fusion for ambivalence and hesitancy recognition. The proposed method first extracts whole-video segment tokens and cropped-face segment tokens using the same temporal partition. The synchronized visual and facial tokens are refined through intra-modal self-attention and bidirectional visual-facial cross-attention, allowing whole-video context and local facial behavior to mutually refine each other before evidence construction. We then construct segment-level visual-facial evidence using consistency and discrepancy modeling, followed by temporal self-attention and attention pooling. Textual and acoustic features are lightly refined through context self-attention and are fused with the enhanced visual-facial evidence at the final decision stage using pairwise evidence fusion. Experiments on the BAH (Behavioral Ambivalence/Hesitancy) public evaluation split show that the proposed synchronized visual-facial cross-refinement improves public macro-F1 over both global visual-face token fusion and synchronized evidence baselines, achieving a public macro-F1 of 0.7156. Code is available at : https://github.com/hiinnnii/BAH-Challenge-ECCV2026\_SVF-CR.
Abstract（参考訳）: アンビバレンスとヘシテンシー(英: Ambivalence and hesitancy)は、言葉の内容、顔の振る舞い、視覚的文脈、音響的手がかりの組み合わせによって表現される微妙な行動状態である。したがって、効果的な認識には、情報的一助的表現を抽出するだけでなく、時間的に協調した行動証拠がどのようにモダリティを越えて相互作用するかをモデル化する必要がある。本稿では,両面の両面にアンビバレンスとヘシタシー認識のための多モーダルなエビデンスを融合したビジュアル・フェイス・クロスリファインメント・フレームワーク(SVF-CR)を提案する。提案手法はまず,同じ時間分割を用いて,全映像セグメントトークンとトリミング顔セグメントトークンを抽出する。同期された視覚と顔のトークンは、モダル内自己注意と双方向の視覚と顔の交差注意によって洗練され、ビデオ全体のコンテキストと局所的な顔の振る舞いが、エビデンス構築の前に相互に洗練される。次に、一貫性と相違性モデリングを用いて、セグメントレベルの視覚面のエビデンスを構築し、時間的自己注意とアテンションプーリングを行った。テクスチャおよび音響的特徴は、文脈的自己注意によって軽快に洗練され、対のエビデンス融合を用いて最終決定段階における視覚的・顔的エビデンスと融合する。 BAH (Behavioral Ambivalence/Hesitancy) の公開評価分割実験により,提案手法により,グローバルな視覚面トークン融合と同期化エビデンスベースラインの両面での一般マクロF1が向上し,一般マクロF1の0.7156が達成された。コードはhttps://github.com/hiinnnii/BAH-Challenge-ECCV2026\_SVF-CRで公開されている。

関連論文リスト

LaCoVL-FER: Landmark-Guided Contrastive Learning Network with Vision-Language Enhancement for Facial Expression Recognition [51.70817823155725]
顔表情認識のための視覚言語強化型ランドマーク誘導型コントラスト学習ネットワーク(FER)を提案する。 LaCoVL-FERは、顔のランドマークと視覚言語モデルからのセマンティックな事前情報を統合する。実験により、LaCoVL-FERは3つの代表的な実世界のFERデータセット上で最先端のメソッドより優れていることが示された。
論文参考訳（メタデータ） (2026-05-19T13:15:41Z)
Adaptive Physical-Facial Representation Fusion via Subject-Invariant Cross-Modal Prompt Tuning for Video-Based Emotion Recognition [14.850489141041017]
映像に基づく感情認識のためのクロスモーダルなクロスチューニングプロンプトチューニング手法を提案する。提案手法は、認識精度と一般化能力の両方において、強いベースラインを一貫して上回る。
論文参考訳（メタデータ） (2026-05-07T05:33:31Z)
ECHO: Towards Emotionally Appropriate and Contextually Aware Interactive Head Generation [37.457960520410246]
対話型ヘッドジェネレーション (Interactive Head Generation, IHG) は、このような機能をエミュレートしたライフライクなアバターヘッドビデオを合成することを目的としている。 ECHOは、Long-range Contextual Understanding (LCU) コンポーネントとブロックワイド空間対応のDecoupled Cross-attention Modulation (SDCM) モジュールの2つの主要なコンポーネントからなる新しいIHGフレームワークである。
論文参考訳（メタデータ） (2026-03-18T07:07:01Z)
Multimodal Emotion Recognition via Bi-directional Cross-Attention and Temporal Modeling [2.8037951156321377]
本稿では,第10回ABAWチャレンジにおける表現課題に対するマルチモーダル感情認識フレームワークを提案する。本フレームワークは,視覚および音声表現学習のための大規模事前学習モデルを構築し,それらを統合マルチモーダルアーキテクチャに統合する。 ABAW 10th EXPRベンチマークの実験結果から,提案手法の有効性が示された。
論文参考訳（メタデータ） (2026-03-12T14:20:29Z)
Implicit Counterfactual Learning for Audio-Visual Segmentation [50.69377287012591]
我々は,非バイアスの相互理解を実現するために,暗黙の対実的枠組み(ICF)を提案する。意味論の欠如により、異種表現は誤った一致につながる可能性がある。モダリティ共有空間を確立するために,ビデオ,セグメント,フレームレベルを含む多粒性暗黙テキスト(MIT)をブリッジとして導入する。
論文参考訳（メタデータ） (2025-07-28T11:46:35Z)
Removing Averaging: Personalized Lip-Sync Driven Characters Based on Identity Adapter [13.630889787934722]
リップ平均化(lip averaging)現象は、未確認映像を撮影する際に、モデルが微妙な顔の細部を保存できない場合に発生する。参照ビデオからアイデンティティ埋め込みを抽出し,忠実な顔列を生成するUnAvgLipを提案する。
論文参考訳（メタデータ） (2025-03-09T02:36:31Z)
RealTalk: Real-time and Realistic Audio-driven Face Generation with 3D Facial Prior-guided Identity Alignment Network [48.95833484103569]
RealTalkは、音声から表現へのトランスフォーマーであり、高忠実な表現から顔へのフレームワークである。第1成分として, 口唇運動に関連する個人性および個人内変動の特徴について考察した。第2のコンポーネントでは、軽量な顔認証アライメント(FIA)モジュールを設計する。この新しい設計により、高度で非効率な特徴アライメントモジュールに依存することなく、リアルタイムに細部を生成できる。
論文参考訳（メタデータ） (2024-06-26T12:09:59Z)
SyncVSR: Data-Efficient Visual Speech Recognition with End-to-End Crossmodal Audio Token Synchronization [29.53063463863921]
我々は、フレームレベルのクロスモーダル監視に量子化オーディオを利用するエンドツーエンド学習フレームワークSyncVSRを提案する。音響データと視覚表現を同期するプロジェクション層を統合することで、エンコーダは、非自己回帰的な方法でビデオシーケンスから離散的なオーディオトークンを生成することを学習する。我々の経験的評価は、最先端の結果を達成するだけでなく、データ使用量を最大9倍に削減できることを示している。
論文参考訳（メタデータ） (2024-06-18T03:14:22Z)
Contrastive Learning of Person-independent Representations for Facial Action Unit Detection [70.60587475492065]
自己教師型AU表現学習信号を2次元で定式化する。ビデオクリップ内でAU表現を学習し、個人に依存しない表現を学習するためのクロスアイデンティティ再構築機構を考案する。提案手法は,他のコントラスト学習手法よりも優れており,自己教師と教師付きAU検出手法間の性能ギャップを著しく短縮する。
論文参考訳（メタデータ） (2024-03-06T01:49:28Z)
Learning Fair Face Representation With Progressive Cross Transformer [79.73754444296213]
フェアフェイス認識のためのプログレッシブクロストランス (PCT) 手法を提案する。我々は,PCTが最先端FR性能を達成しつつ,顔認識におけるバイアスを軽減することができることを示した。
論文参考訳（メタデータ） (2021-08-11T01:31:14Z)
Cross-Modal Attention Consistency for Video-Audio Unsupervised Learning [141.38505371646482]
クロスモーダル相関は、ビデオ教師なし表現学習に固有の監督を提供する。本稿では,双方向の局所通信特性を探索するために,CMAC(Cross-Modal Attention Consistency)というプレテキストタスクを導入する。 CMACは、視覚信号から純粋に発生する局所的注意と、音響信号の誘導の下で発生する対象的注意とを一致させることを目的としている。
論文参考訳（メタデータ） (2021-06-13T07:41:15Z)
Looking into Your Speech: Learning Cross-modal Affinity for Audio-visual Speech Separation [73.1652905564163]
本稿では,音声-視覚的ニューラル処理を用いて音声信号と映像を分離する問題に対処する。従来の手法では、フレームワイドマッチング基準を用いて、音声とビデオの共有情報を抽出する。音声と視覚ストリーム間の局所的な親和性だけでなく,グローバル通信を学習するクロスモーダル親和性ネットワーク(CaffNet)を提案する。
論文参考訳（メタデータ） (2021-03-25T15:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。