論文の概要: Audio-Text Cross-Attention with Psycholinguistic Support Features for Ambivalence/Hesitancy Recognition
- arxiv url: http://arxiv.org/abs/2607.13345v1
- Date: Wed, 15 Jul 2026 00:11:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.612782
- Title: Audio-Text Cross-Attention with Psycholinguistic Support Features for Ambivalence/Hesitancy Recognition
- Title（参考訳）: バイバレンス/ヘシテンシー認識のための心理言語支援機能付き音声テキストクロスアテンション
- Abstract要約: 第11回ABAWコンペティションにおけるAmbivalence/Hesitancy Video Recognition Challengeのための音声テキストシステムを提案する。
この方法は、視覚的フレームを除外し、各動画を5秒の重なり合わせのタイムスタンプとして表現する。
それぞれのウィンドウは、320次元の韻律的オーディオディスクリプタと、768次元の感情指向RoBERTa埋め込みと、不確実性、ヘッジ、微妙な衝突を捉えた74のハンドクラフト機能を組み合わせている。
- 参考スコア（独自算出の注目度）: 0.6042845803090501
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present an audio-text system for the Ambivalence/Hesitancy Video Recognition Challenge of the 11th ABAW Competition. The method excludes visual frames and represents each video as overlapping 5-second windows aligned with transcript timestamps. Each window combines a 320-dimensional prosodic audio descriptor, a 768-dimensional emotion-oriented RoBERTa embedding, and 74 handcrafted features capturing uncertainty, hedging, and attitudinal conflict. Audio and text are fused via temporal cross-attention, while support features are injected prior to gated multiple-instance learning (MIL) pooling to modulate the window's importance. Predictions from five independently initialized models are averaged. On the labeled public development set, the ensemble achieved an average precision of 0.875 and a macro-F1 of 0.72. Our source code is publicly available at https://github.com/Liga-de-IA-PUCPR/abaw-11-ah-challenge/.
- Abstract（参考訳）: 第11回ABAWコンペティションにおけるAmbivalence/Hesitancy Video Recognition Challengeのための音声テキストシステムを提案する。
この方法は、視覚的フレームを除外し、各ビデオは、転写タイムスタンプに一致した5秒の重なり合うウィンドウとして表現する。
それぞれのウィンドウは、320次元の韻律的オーディオディスクリプタと、768次元の感情指向RoBERTa埋め込みと、不確実性、ヘッジ、微妙な衝突を捉えた74のハンドクラフト機能を組み合わせている。
音声とテキストは時間的クロスアテンションによって融合されるが、サポート機能は、ウィンドウの重要性を調節するために、ゲート多重インスタンス学習(MIL)プーリングの前に注入される。
5つの独立初期化モデルからの予測が平均化される。
ラベル付き公共開発セットでは、アンサンブルの平均精度は0.875、マクロF1は0.72である。
ソースコードはhttps://github.com/Liga-de-IA-PUCPR/abaw-11-ah-challenge/で公開されています。
関連論文リスト
- Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds [60.18437892555415]
本稿では,2つの目的を持ったオーディオ視覚生成システムであるJoyAI-Echo-1.5を提案する。
この長ビデオ版では、コンポーザブルなクロスショットメモリが導入され、複数の先行ショットと、音声フィルタリングされたフルショットオーディオから派生した話者キューに視覚的エビデンスを集約する。
世界モデルの変種は、不均一なナビゲーション入力を校正されたメートル法6-DoFカメラ軌跡に変換し、幾何学的条件付け経路を介してそれらを注入する。
論文 参考訳（メタデータ） (2026-08-24T15:31:12Z) - OmniVideo-100K: A Dataset for Audio-Visual Reasoning through Structured Scripts and Evidence Chains [50.186434778589415]
音声-視覚的質問回答(QA)のための現在の自動パイプラインは、一般的にビデオキャプション-QA'のパラダイムを採用している。
textbfEntity-Anchored Video Scripting' と textbfClue-Guided QA Generation' という2つのメカニズムを備えた自動データエンジンを提案する。
論文 参考訳（メタデータ） (2026-06-12T17:59:55Z) - Speed by Simplicity: A Single-Stream Architecture for Fast Audio-Video Generative Foundation Model [52.79436545460808]
本稿では,人中心生成のためのオープンソースオーディオビデオ生成基盤モデルdaVinci-MagiHumanを紹介する。
DaVinci-MagiHumanは、単一ストリームトランスフォーマーを使用して、同期ビデオとオーディオを共同で生成する。
中国語(マンダリン語とカントン語)、英語、日本語、韓国語、ドイツ語、フランス語の多言語音声生成をサポートする。
論文 参考訳（メタデータ） (2026-03-23T13:49:06Z) - LVOmniBench: Pioneering Long Audio-Video Understanding Evaluation for Omnimodal LLMs [68.35684758116453]
このデータセットは、リッチなオーディオ視覚ダイナミクスを備えたオープンプラットフォームからソースされた高品質なビデオで構成されている。
我々は,長期記憶,時間的局所化,きめ細かい理解,マルチモーダル知覚など,ドメイン間のOmniLLMの能力について精査した。
オープンソースモデルは一般的に35%未満の精度を達成するが、Gemini 3 Proは65%のピーク精度に達する。
論文 参考訳（メタデータ） (2026-03-19T17:58:13Z) - Solution for 10th Competition on Ambivalence/Hesitancy (AH) Video Recognition Challenge using Divergence-Based Multimodal Fusion [0.0]
第10回ABAWコンペティション(CVPR 2026)におけるA/Hビデオ認識チャレンジへの取り組み
本稿では,視覚的,音声的,テキスト的チャネル間の相互競合を明示的に測定する分散型マルチモーダル融合を提案する。
提案手法は, 検証テストセットにおいて0.6808のマクロF1を達成し, 課題ベースラインの0.2827を上回った。
論文 参考訳（メタデータ） (2026-03-15T15:37:25Z) - CourseTimeQA: A Lecture-Video Benchmark and a Latency-Constrained Cross-Modal Fusion Method for Timestamped QA [3.0867286767516937]
自然言語クエリが与えられたら、システムは関連するタイムスタンプのセグメントを検索し、接地された回答を合成する。
本稿では,CourseTimeQA (52.3 h, 902 querys across six courses) と,軽量で遅延に制約のあるクロスモーダルレトリバー (CrossFusion-RAG) を提案する。
CourseTimeQAでは、CrossFusion-RAGがnDCG@10を0.10、MRRを0.08、強力なBLIP-2レトリバーを0.55s、一方のA100上では1.55sのエンドツーエンドレイテンシを実現している。
論文 参考訳（メタデータ） (2025-11-29T07:06:51Z) - Exploiting Temporal Audio-Visual Correlation Embedding for Audio-Driven One-Shot Talking Head Animation [62.218932509432314]
従来,隣接する音声クリップの時間的関係は,対応する映像フレームの時間的関係と強く相関している。
音声と視覚の相関関係を学習し,その相関関係を統合し,特徴表現の強化と最終生成の正規化を支援する。
論文 参考訳（メタデータ） (2025-04-08T07:23:28Z) - DeepSound-V1: Start to Think Step-by-Step in the Audio Generation from Videos [4.452513686760606]
マルチモーダル大言語モデル(MLLM)の内部連鎖(CoT)を利用したビデオから音声を生成するフレームワークを提案する。
対応するマルチモーダル推論データセットを構築し、音声生成における初期推論の学習を容易にする。
実験では,提案手法が生成した音声の不一致(発声)の低減に有効であることを示す。
論文 参考訳（メタデータ） (2025-03-28T07:56:19Z) - Progressive Confident Masking Attention Network for Audio-Visual Segmentation [7.864898315909104]
オーディオ・ビジュアル (AVS) と呼ばれる難題が出現し、シーン内のオブジェクトを音声化するためのセグメンテーションマップを作成することを目的としている。
PMCANet(Progressive Confident Masking Attention Network)を紹介する。
注意機構を利用して、音声信号と視覚フレームの本質的な相関を明らかにする。
論文 参考訳（メタデータ） (2024-06-04T14:21:41Z) - Mirasol3B: A Multimodal Autoregressive model for time-aligned and contextual modalities [67.89368528234394]
マルチモーダル学習の主な課題の1つは、異質なモダリティを組み合わせる必要があることである。
ビデオとオーディオはテキストよりもはるかに高いレートで取得され、ほぼ時間内に整列される。
我々の手法は、確立されたマルチモーダルベンチマークの最先端性を達成し、はるかに大きなモデルより優れている。
論文 参考訳（メタデータ） (2023-11-09T19:15:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。