論文の概要: Knowledge-Guided Multimodal Reasoning over Interacting Streams for Video-Level Ambivalence and Hesitancy Recognition

• arxiv url: http://arxiv.org/abs/2607.25961v2
• Date: Wed, 29 Jul 2026 06:38:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 14:21:10.74285
• Title: Knowledge-Guided Multimodal Reasoning over Interacting Streams for Video-Level Ambivalence and Hesitancy Recognition
• Title（参考訳）: 対話型ストリーム上での知識誘導型マルチモーダル推論によるビデオレベルあいまいさとヘシタシー認識
• Abstract要約: PRISM-AHはA/Hを時間とともに展開するマルチモーダルコンフリクトとして扱うフレームワークである。 知識誘導型大規模言語モデルは、データセットの専門的な分類法を用いて、構造化された証拠を理由づける。 525ビデオのラベル付き公開テストパーティションでは、PRISM-AHは0.2827のゼロショットベースラインと比較して0.6133のマクロF1を達成する。
• 参考スコア（独自算出の注目度）: 0.9297355862757838
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ambivalence and hesitancy (A/H) are conflicting affective states that precede the delay or abandonment of health behaviour change. Recognition of A/H at the video level is difficult, since the signal arises from disagreement across and within facial, vocal, linguistic, and bodily modalities, and manifests differently across individuals. The proposed PRISM-AH (Predictive Reasoning over Interacting Streams for Multimodal Ambivalence/Hesitancy Recognition), is a framework that treats A/H as a multimodal conflict that unfolds over time. Frozen vision, audio, and text encoders are aligned into short time windows and passed to a lightweight streaming model that scores cross-modal dissonance, predicts each next window to expose a hesitation surprise signal, discovers behaviour prototypes, and is conditioned on participant metadata. Dense window-level annotations supervise the model as an auxiliary objective, and the decision threshold is calibrated for macro F1. A knowledge-guided large language model then reasons over structured evidence using the expert cue taxonomy of the dataset, and its verdict is fused late only when validation performance improves. On the labelled public test partition of 525 videos, PRISM-AH attains a macro F1 of 0.6133, compared to the reported zero-shot baseline of 0.2827. The reasoning gain is validated to transfer from validation to the larger test partition.
• Abstract（参考訳）: A/H(Ambivalence and hesitancy)は、健康行動の変化の遅れや放棄に先立つ感情状態と矛盾する。 ビデオレベルでのA/H認識は、顔、声、言語、身体のモダリティの相違から生じる信号が個人によって異なるため、困難である。 PRISM-AH(Predictive Reasoning over Interacting Streams for Multimodal Ambivalence/Hesitancy Recognition)は、A/Hを時間とともに展開するマルチモーダルコンフリクトとして扱うフレームワークである。 凍結した視覚、オーディオ、テキストエンコーダは、短時間のウィンドウに整列され、クロスモーダルな不協和をスコアする軽量ストリーミングモデルに渡され、各ウィンドウを予測して、暗黙のサプライズ信号を公開し、振る舞いのプロトタイプを発見し、メタデータに条件付けされる。 タンスウィンドウレベルアノテーションは補助目的としてモデルを監督し、マクロF1に対して決定閾値を校正する。 知識誘導型大規模言語モデルは、データセットの専門的なcue分類を用いて構造化されたエビデンスを推論し、検証性能が向上した場合のみ、その判断は遅くに融合する。 525ビデオのラベル付き公開テストパーティションでは、PRISM-AHは0.2827のゼロショットベースラインと比較して0.6133のマクロF1を達成する。 理由付けの利得は、検証からより大きなテストパーティションに移行するために検証される。

関連論文リスト

• Vision-language models know more about agriculture than they show and rubric-grounded verifications close the gap [3.4891835983047077]
  視覚言語モデル(VLM)は農業の分類を約束するが、疾患、害虫、損傷、品質、種同定におけるゼロショットのパフォーマンスは依然として貧弱である。 私たちは、これらのタスクにまたがる116のデータセット、834のクラス、8,324のイメージのベンチマークを構築し、ギャップが生じる場所を分離します。 線形探索は、すでにVLMビジョンエンコーダが自監督型DINOv3ベースラインと同じくらい分離可能な農業特徴を符号化していることを示している。
  論文  参考訳（メタデータ） (2026-09-08T20:15:53Z)
• Adaptive Multi-Granularity Temporal Modeling for Weakly Supervised Video Anomaly Detection [1.2072875728151518]
  弱教師付きビデオ異常検出(WSVAD)が重要な研究フロンティアとして登場した。 既存のほとんどのアプローチは、厳密で手作りの時間的優先順位に依存して異常スコアを監督するMultiple Instance Learning (MIL)フレームワークでWSVADを定式化する。 本稿では,複数の時間的粒度にまたがるビデオダイナミックスの変化を明示的に考慮したWSVADの適応時間的モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-04T12:27:43Z)
• MUPA$^{2}$E: Multimodal Unified Perception with Asymmetric Attention for Emotion Assessment [4.682152272555128]
  本稿では,顔画像と脳波(EEG)を処理する統合認識フレームワークMUPAtextsuperscript2Eについて述べる。 顔映像は軸折りフレームトークンで表現され、EEGは生のマルチチャネル波形として処理されるか、空間領域に投影される。 試用期間が短くなると30ドル(約3万3000円)で融合し、検証性能が最高、テスト精度が70.07%(約7万7000円)になる。
  論文  参考訳（メタデータ） (2026-08-17T01:26:47Z)
• Foresee-to-Ground: From Predictive Temporal Perception to Evidence-Driven Reasoning for Video Temporal Grounding [86.37002814396674]
  ビデオ時間グラウンドのためのフォアシー・ツー・グラウンド(F2G)を提案する。 F2Gは予測的時間知覚とエビデンス駆動推論を統合している。 さまざまなベンチマークでグラウンド化の精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2026-05-21T04:03:25Z)
• Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models [53.15468578562038]
  マルチモーダル大言語モデル(MLLM)のための不確実性を考慮した探索的直接参照最適化(UE-DPO)手法を提案する。 まず、与えられた画像にトークン予測を根拠にしなかったモデルの不確かさを定量化する。 次に、好ましいサンプルにおいて、視覚的に不足したトークンに対する学習のプレッシャーを高め、非推奨サンプルにおける有益な知識の過度な報酬化を緩和する。
  論文  参考訳（メタデータ） (2026-05-06T13:08:12Z)
• Membership Inference Attacks against Large Audio Language Models [50.84901010528239]
  大規模音声言語モデル(LALM)のMIA評価について述べる。 テキスト,スペクトル,韻律的特徴に基づくマルチモーダルブラインドベースラインを用いて,一般的な音声データセットがほぼ完璧な列車/テスト分離性を示すことを示す。 以上の結果から, LALM検査の基準基準が確立された。
  論文  参考訳（メタデータ） (2026-03-30T12:45:28Z)
• Solution for 10th Competition on Ambivalence/Hesitancy (AH) Video Recognition Challenge using Divergence-Based Multimodal Fusion [0.0]
  第10回ABAWコンペティション(CVPR 2026)におけるA/Hビデオ認識チャレンジへの取り組み 本稿では,視覚的,音声的,テキスト的チャネル間の相互競合を明示的に測定する分散型マルチモーダル融合を提案する。 提案手法は, 検証テストセットにおいて0.6808のマクロF1を達成し, 課題ベースラインの0.2827を上回った。
  論文  参考訳（メタデータ） (2026-03-15T15:37:25Z)
• BROTHER: Behavioral Recognition Optimized Through Heterogeneous Ensemble Regularization for Ambivalence and Hesitancy [39.407739937584104]
  自然主義的なビデオ設定におけるA/H(Ambivalence and Hesitancy)は、感情コンピューティングにおいて重要な課題である。 ビデオレベルでのA/H予測のために,高度に正規化されたマルチモーダル融合パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-15T12:53:41Z)
• Nuanced Emotion Recognition Based on a Segment-based MLLM Framework Leveraging Qwen3-Omni for AH Detection [15.9620440408998]
  本稿では,時間セグメントモデリングを多モーダル大言語モデルと統合する認識フレームワークを提案する。 セグメントベースの戦略を採用し、動画を最大5秒の短いクリップに分割する。 実験結果から,提案手法の精度は85.1%であった。
  論文  参考訳（メタデータ） (2026-03-12T08:31:42Z)
• Test-time Adaptive Hierarchical Co-enhanced Denoising Network for Reliable Multimodal Classification [55.56234913868664]
  マルチモーダルデータを用いた信頼性学習のためのTAHCD(Test-time Adaptive Hierarchical Co-enhanced Denoising Network)を提案する。 提案手法は,最先端の信頼性の高いマルチモーダル学習手法と比較して,優れた分類性能,堅牢性,一般化を実現する。
  論文  参考訳（メタデータ） (2026-01-12T03:14:12Z)
• FADEL: Uncertainty-aware Fake Audio Detection with Evidential Deep Learning [9.960675988638805]
  顕在学習を用いた偽音声検出(FADEL)という新しいフレームワークを提案する。 FADELはモデルの不確実性を予測に組み込んでおり、OODシナリオではより堅牢なパフォーマンスを実現している。 本研究では,異なるスプーフィングアルゴリズム間の平均不確かさと等誤差率(EER)の強い相関関係を解析し,不確かさ推定の有効性を示す。
  論文  参考訳（メタデータ） (2025-04-22T07:40:35Z)
• A Study of Dropout-Induced Modality Bias on Robustness to Missing Video Frames for Audio-Visual Speech Recognition [53.800937914403654]
  AVSR(Advanced Audio-Visual Speech Recognition)システムは、欠落したビデオフレームに敏感であることが観察されている。 ビデオモダリティにドロップアウト技術を適用することで、フレーム不足に対するロバスト性が向上する一方、完全なデータ入力を扱う場合、同時に性能損失が発生する。 本稿では,MDA-KD(Multimodal Distribution Approximation with Knowledge Distillation)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-07T06:06:55Z)
• Boosting Continuous Sign Language Recognition via Cross Modality Augmentation [135.30357113518127]
  連続手話認識は不整合のビデオテキストペアを扱う。 クロスモーダル拡張を用いた新しいアーキテクチャを提案する。 提案するフレームワークは、既存のCTCベースの連続SLRアーキテクチャに容易に拡張できる。
  論文  参考訳（メタデータ） (2020-10-11T15:07:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。