論文の概要: When, Where, and Why: Hierarchical Causal Explainability for Video Face Understanding with MLLMs

• arxiv url: http://arxiv.org/abs/2610.17791v1
• Date: Tue, 13 Oct 2026 06:20:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 17:10:48.020486
• Title: When, Where, and Why: Hierarchical Causal Explainability for Video Face Understanding with MLLMs
• Title（参考訳）: MLLMによるビデオ顔理解のための階層的因果説明可能性
• Abstract要約: 本稿では,2つの主要コンポーネントからなる説明可能な顔映像理解のためのフレームワークであるVideoFace-X-LLMを提案する。 まず,顔行動理解のための弱教師付きビデオテキストコーパスであるExplainFaceを紹介する。 第二に、H-TCCは重要な時間モーメントを見つけ、その因果的必要性を検証する。
• 参考スコア（独自算出の注目度）: 22.401993645814603
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding facial behaviour in video requires answering three fundamental questions: when a key facial expression occurs, where the model attends on the face at that moment, and why that evidence is necessary rather than merely correlated. Today's multimodal large language models (MLLMs) can label and describe video, but they rarely provide faithful explanations, especially for small facial movements that change over time. We present VideoFace-X-LLM, a framework for explainable facial video understanding comprising two key components. First, we introduce ExplainFace, a weakly supervised video-text corpus for facial behaviour understanding, automatically constructed from CelebV-HQ videos and validated through human evaluation and a two-model audit (at most 2.3% contradictions), demonstrating consistent gains across two backbone architectures. Second, H-TCC (Hierarchical Temporal Spatial Causal Concepts), which finds the key temporal moments (When), the facial regions (Where), and verifies its causal necessity (Why) through targeted occlusion. Fine-tuning on ExplainFace raises appearance Macro F1 from 19.48% to 32.87% (+13.39), with gains of +4.38 on actions, +6.77 on temporal emotion, and +11.84 F1 on deepfake detection. We also measure the explanations pointing lift, face/edge lift, stability, an Adebayo sanity check, and a necessity test rather than only showing examples. Our models, code, and corpus are available on request for research use.
• Abstract（参考訳）: ビデオにおける顔の振る舞いを理解するには、3つの基本的な質問に答える必要がある。 今日のMLLM(Multimodal large language model)は、ビデオのラベル付けと記述が可能であるが、特に時間とともに変化する小さな顔の動きに対して、忠実な説明を提供することは滅多にない。 本稿では,2つの主要コンポーネントからなる説明可能な顔映像理解のためのフレームワークであるVideoFace-X-LLMを提案する。 まず、顔行動理解のための弱教師付きビデオテキストコーパスであるExplainFaceを紹介し、CelebV-HQビデオから自動的に構築され、人間の評価と2モデル監査(最大2.3%の矛盾)を通じて検証され、2つのバックボーンアーキテクチャ間で一貫した利得を示す。 第2に,H-TCC (Hierarchical Temporal Spatial Causal Concepts) は,時間的時間的モーメント (When) と顔領域 (Where) を識別し,その因果的必要条件 (Why) を目標閉塞を通して検証する。 ExplainFaceの微調整により、マクロF1は19.48%から32.87%(+13.39)に増加し、アクションは+4.38、時間的感情は+6.77、ディープフェイク検出は+11.84 F1となった。 また,リフト,フェース/エッジリフト,安定性,アデバヨ・サニティチェック,および必要試験を例に示さずに測定した。 私たちのモデル、コード、コーパスは、研究使用のリクエストで利用可能です。

関連論文リスト

• Moment-Video: Diagnosing Temporal Fidelity of Video MLLMs on Momentary Visual Events [52.031070006859544]
  ビデオマルチモーダル大言語モデル(MLLM)は、一般的なビデオ理解と長大なビデオ理解を急速に進歩させてきたが、短い回答クリティカルな視覚的証拠を保存できる能力はいまだに未発見のままである。 本稿では,映像MLLMの時間的忠実度を時間的視覚的事象理解によって診断するためのベンチマークであるMoment-Videoを紹介する。
  論文  参考訳（メタデータ） (2026-06-01T17:32:20Z)
• Know-Show: Benchmarking Video-Language Models on Spatio-Temporal Grounded Reasoning [18.15310805625469]
  マルチモーダルビデオ言語モデル(Video-LMs)を評価するための新しいベンチマークであるKnow-Showを提案する。 Know-Showは、空間的(人、物、人、物)と時間的次元の5つのシナリオからなる単一の評価枠組み内での推論と局所化を統一する。 Charades、Action Genome、Ego4Dから2.5万の人間の言語質問で作られたこのベンチマークは、現在のビデオ-LMと人間の推論の間に大きなギャップを露呈している。 このギャップを埋めるために、我々は、きめ細かい接地でビデオ-LMを増強するトレーニング不要なプラグインであるGRAMを提案する。
  論文  参考訳（メタデータ） (2025-12-05T08:15:49Z)
• HumanVideo-MME: Benchmarking MLLMs for Human-Centric Video Understanding [120.84817886550765]
  MLLM(Multimodal Large Language Models)は、画像とビデオの両方を含む視覚的理解タスクにおいて、大きな進歩を見せている。 既存の人間中心のベンチマークは、主にビデオ生成の品質と行動認識を強調し、人間中心のシナリオに必要な知覚と認知の能力を見落としている。 我々は,人間中心のビデオ理解におけるMLLMのより総合的な評価を提供するために,厳格にキュレートされたベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-07-07T11:52:24Z)
• Video-Holmes: Can MLLM Think Like Holmes for Complex Video Reasoning? [56.06537213958482]
  本稿では,MLLMの複雑なビデオ推論能力を評価するためのベンチマークであるVideo-Holmesを紹介する。 Video-Holmesは270本の手動注釈付きサスペンス短編映画から1,837の質問で構成されている。 最新のMLLMを包括的に評価した結果,これらのモデルは視覚的知覚に優れるが,情報の統合にはかなりの困難が伴うことが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-27T16:05:01Z)
• TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
  TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。 ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。 GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。