論文の概要: Interpretable Temporal Video Reasoning with EventGraph and EventField
- arxiv url: http://arxiv.org/abs/2609.13258v1
- Date: Sun, 06 Sep 2026 07:33:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.125216
- Title: Interpretable Temporal Video Reasoning with EventGraph and EventField
- Title(参考訳): EventGraphとEventFieldによる解釈可能なテンポラルビデオ推論
- Abstract要約: 本研究では、離散的なEventGraph、連続的なEventField、人間可読なEventGlyphビューを中心に構築された、構造化された時間的ビデオ推論パイプラインを示す。
10の動画と50の時間的推論質問のサブセットで、EventField+Glyphは0.98の全体的な精度を達成する。
その結果、構造化された時間表現は、性能と検査可能性の両方をサポートできることが示唆された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a structured temporal video reasoning pipeline built around a discrete EventGraph, a continuous EventField, and a human-readable EventGlyph view. On a calibrated EPIC-KITCHENS subset of 10 videos and 50 temporal reasoning questions, EventField+Glyph achieves 0.98 overall accuracy, which is higher than the caption baseline by +0.40 (paired p = 1.1 \times 10^{-5}) and direct VLM-only QA by +0.20 (p = 0.0063) on this subset. We further evaluate annotation-source variations, including manual, heuristic, and heuristic+Gemini pipelines, and find that the best structured method stays above the caption baseline across settings. We also include cross-video pair benchmarking and an appendix gallery of glyph outputs for all studied videos. Overall, the results indicate that structured temporal representations can support both performance and inspectability by preserving symbolic structure, capturing temporal continuity, and providing human-readable diagnostics for video reasoning.
- Abstract(参考訳): 本研究では、離散的なEventGraph、連続的なEventField、人間可読なEventGlyphビューを中心に構築された、構造化された時間的ビデオ推論パイプラインを示す。
EventField+Glyphは10の動画と50の時間的推論質問の校正EPIC-KITCHENSサブセットで、キャプションベースラインの+0.40 (paired p = 1.1 \times 10^{-5})と直接VLMのみのQAの+0.20 (p = 0.0063)よりも高い0.98の精度を達成する。
さらに、手動、ヒューリスティック、ヒューリスティック+Geminiパイプラインを含むアノテーションソースのバリエーションを評価し、最適な構造化手法が、設定全体にわたってキャプションベースラインの上に留まっていることを確認する。
また、ビデオ間のペアのベンチマークや、すべての研究ビデオに対するグリフ出力の付録ギャラリーも含んでいます。
その結果, 時間的表現は, シンボル構造を保存し, 時間的連続性を把握し, 映像推論のための人間可読診断を提供することにより, 性能と検査性の両方を両立できることがわかった。
関連論文リスト
- CapRiCorn-1K: A Comprehensive Benchmark for Video Captioning and Subject Referential Consistency Across Temporal Scales [41.187897807081875]
CapRiCorn-1Kは、ビデオキャプションの品質と、長い時間的水平線と多様なビデオ領域にわたる主観的参照整合性の両方を評価するために設計されたベンチマークである。
私たちのベンチマークでは、オーディオ視覚と視覚のみの設定の両方をサポートしています。
評価指標は, 生成されたキャプション上での下流理解および生成タスクの性能と強い相関を示す。
論文 参考訳(メタデータ) (2026-06-20T08:37:32Z) - OmniVideo-100K: A Dataset for Audio-Visual Reasoning through Structured Scripts and Evidence Chains [50.186434778589415]
音声-視覚的質問回答(QA)のための現在の自動パイプラインは、一般的にビデオキャプション-QA'のパラダイムを採用している。
textbfEntity-Anchored Video Scripting' と textbfClue-Guided QA Generation' という2つのメカニズムを備えた自動データエンジンを提案する。
論文 参考訳(メタデータ) (2026-06-12T17:59:55Z) - BioVid: Autoregressive Video Generation with Biological Behavior Semantic Comprehension [0.0]
BioVidはデータ駆動型自動回帰ビデオ生成フレームワークである。
トレーニングデータから直接生物学的行動の時間構造を学習する。
Wasserstein-1 距離 1.24 である。
論文 参考訳(メタデータ) (2026-06-07T15:23:49Z) - Foresee-to-Ground: From Predictive Temporal Perception to Evidence-Driven Reasoning for Video Temporal Grounding [86.37002814396674]
ビデオ時間グラウンドのためのフォアシー・ツー・グラウンド(F2G)を提案する。
F2Gは予測的時間知覚とエビデンス駆動推論を統合している。
さまざまなベンチマークでグラウンド化の精度を一貫して向上させる。
論文 参考訳(メタデータ) (2026-05-21T04:03:25Z) - Harnessing Synthetic Preference Data for Enhancing Temporal Understanding of Video-LLMs [54.502280390499756]
我々はTimeWarpを提案し、モデルからの応答を微調整し、与えられた入力ビデオにフォーカスするよう促すために、ターゲットとなる合成時間データセットを作成する。
提案手法を既存モデルに適用すると,時間的理解ベンチマークの性能が大幅に向上することが実証された。
論文 参考訳(メタデータ) (2025-10-04T21:48:40Z) - TimeLogic: A Temporal Logic Benchmark for Video QA [64.32208175236323]
時間的論理的質問を自動的に生成するTimeLogic QA(TLQA)フレームワークを導入する。
私たちはSTAR、Breakfast、AGQA、CrossTaskの4つのデータセットを活用し、カテゴリ毎に2kと10kのQAペアを生成します。
時間的複雑性の異なる16カテゴリの時間論理に対して,ビデオQAモデルの時間的推論性能を評価する。
論文 参考訳(メタデータ) (2025-01-13T11:12:59Z) - Constructing Holistic Spatio-Temporal Scene Graph for Video Semantic
Role Labeling [96.64607294592062]
Video Semantic Label Roleing (VidSRL)は、与えられたビデオから健全なイベントを検出することを目的としている。
近年、VidSRLの手法が提案されているが、2つの重要な欠点を負う可能性がある。
論文 参考訳(メタデータ) (2023-08-09T17:20:14Z) - Temporal Alignment Networks for Long-term Video [103.69904379356413]
本稿では,長時間のビデオシーケンスと関連するテキストを取り込み,時間的アライメントネットワークを提案する。
我々は、関連するテキストが大きなノイズを持つHowTo100Mのような大規模データセットから、そのようなネットワークをトレーニングする。
提案モデルでは,HowTo100Mに基づいてトレーニングし,このアライメントデータセット上での強いベースライン(CLIP, MIL-NCE)を上回った。
論文 参考訳(メタデータ) (2022-04-06T17:59:46Z) - Knowledge Graph Driven Approach to Represent Video Streams for
Spatiotemporal Event Pattern Matching in Complex Event Processing [5.220940151628734]
複合イベント処理(CEP)は、ストリーミングデータ上でリアルタイム分析を行うイベント処理パラダイムである。
ビデオストリームは、構造化されていないデータモデルとCEPシステムを制限してマッチングを行うため、複雑である。
この研究は連続的に進化するビデオストリームのためのグラフベースの構造を導入し、CEPシステムは複雑なビデオイベントパターンをクエリできる。
論文 参考訳(メタデータ) (2020-07-13T10:20:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。