論文の概要: GenState-AI: State-Aware Dataset for Text-to-Video Retrieval on AI-Generated Videos
- arxiv url: http://arxiv.org/abs/2603.14426v1
- Date: Sun, 15 Mar 2026 15:09:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.805979
- Title: GenState-AI: State-Aware Dataset for Text-to-Video Retrieval on AI-Generated Videos
- Title(参考訳): GenState-AI:AI生成ビデオのテキスト対ビデオ検索のためのステートアウェアデータセット
- Authors: Minghan Li, Tongna Chen, Tianrui Lv, Yishuai Zhang, Suchao An, Guodong Zhou,
- Abstract要約: 既存のテキストとビデオの検索ベンチマークは、現実世界の映像に支配されている。
我々は制御状態遷移を中心としたAI生成ベンチマークであるGenState-AIを紹介する。
位置,量,対象関係の正確な変化に依存した短いクリップを生成する。
- 参考スコア(独自算出の注目度): 15.01970646860744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing text-to-video retrieval benchmarks are dominated by real-world footage where much of the semantics can be inferred from a single frame, leaving temporal reasoning and explicit end-state grounding under-evaluated. We introduce GenState-AI, an AI-generated benchmark centered on controlled state transitions, where each query is paired with a main video, a temporal hard negative that differs only in the decisive end-state, and a semantic hard negative with content substitution, enabling fine-grained diagnosis of temporal vs. semantic confusions beyond appearance matching. Using Wan2.2-TI2V-5B, we generate short clips whose meaning depends on precise changes in position, quantity, and object relations, providing controllable evaluation conditions for state-aware retrieval. We evaluate two representative MLLM-based baselines, and observe consistent and interpretable failure patterns: both frequently confuse the main video with the temporal hard negative and over-prefer temporally plausible but end-state-incorrect clips, indicating insufficient grounding to decisive end-state evidence, while being comparatively less sensitive to semantic substitutions. We further introduce triplet-based diagnostic analyses, including relative-order statistics and breakdowns across transition categories, to make temporal vs. semantic failure sources explicit. GenState-AI provides a focused testbed for state-aware, temporally and semantically sensitive text-to-video retrieval, and will be released on huggingface.co.
- Abstract(参考訳): 既存のテキストとビデオの検索ベンチマークは、一つのフレームから多くのセマンティクスを推測できる現実世界の映像に支配されており、時間的推論と明示的なエンドステートグラウンドの評価は過小評価されている。
我々は、制御された状態遷移を中心としたAI生成ベンチマークであるGenState-AIを紹介し、それぞれのクエリがメインビデオとペアリングされる。
Wan2.2-TI2V-5Bを用いて、位置、量、オブジェクト関係の正確な変化に依存した短いクリップを生成し、状態認識検索のための制御可能な評価条件を提供する。
2つの代表的MLLMベースラインを評価し,一貫した,解釈可能な障害パターンを観察した。両ビデオとも時間的硬度負と過優先の時間的好ましくないクリップとを頻繁に混同し,決定的な終状態証拠の根拠として不十分であるとともに,意味的置換に比較的敏感であることを示す。
さらに3重項に基づく診断分析を導入し、相対順序統計と遷移カテゴリー間の分解を行い、時間的・意味的故障源を明確にする。
GenState-AIは、状態認識、時間的、セマンティックに敏感なテキスト-ビデオ検索のためのテストベッドを提供する。
関連論文リスト
- VAGU & GtS: LLM-Based Benchmark and Framework for Joint Video Anomaly Grounding and Understanding [22.43740206690383]
ビデオ異常検出(VAD)は、ビデオ内の異常事象を特定し、その時間間隔を正確に決定することを目的としている。
VAGUは、異常理解と接地を統合する最初のベンチマークである。
Glance then Scrutinize (GtS) はテキストプロンプトでガイドされるトレーニング不要のフレームワークである。
また,意味的解釈可能性と時間的精度を共同で評価するJeAUG指標を提案する。
論文 参考訳(メタデータ) (2025-07-29T05:17:48Z) - DAVID-XR1: Detecting AI-Generated Videos with Explainable Reasoning [58.70446237944036]
DAVID-Xは、AI生成ビデオに詳細な欠陥レベル、時間空間アノテーションと有理書を組み合わせた最初のデータセットである。
DAVID-XR1は、視覚的推論の解釈可能な連鎖を提供するために設計されたビデオ言語モデルである。
以上の結果から,AI生成ビデオコンテンツの信頼性確認のための説明可能な検出手法が期待できることを示す。
論文 参考訳(メタデータ) (2025-06-13T13:39:53Z) - On the Consistency of Video Large Language Models in Temporal Comprehension [57.985769348320616]
ビデオ大言語モデル(Video-LLMs)は、時間的に言語クエリを解析し、ビデオモーメントを検索することができる。
予測整合性 - 時間的根拠の堅牢性と信頼性を示す重要な指標である。
論文 参考訳(メタデータ) (2024-11-20T00:47:17Z) - TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。
ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。
GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
論文 参考訳(メタデータ) (2024-10-14T17:59:58Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳(メタデータ) (2022-03-10T08:58:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。