論文の概要: GenState-AI: State-Aware Dataset for Text-to-Video Retrieval on AI-Generated Videos
- arxiv url: http://arxiv.org/abs/2603.14426v1
- Date: Sun, 15 Mar 2026 15:09:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.805979
- Title: GenState-AI: State-Aware Dataset for Text-to-Video Retrieval on AI-Generated Videos
- Title（参考訳）: GenState-AI:AI生成ビデオのテキスト対ビデオ検索のためのステートアウェアデータセット
- Abstract要約: 既存のテキストとビデオの検索ベンチマークは、現実世界の映像に支配されている。
我々は制御状態遷移を中心としたAI生成ベンチマークであるGenState-AIを紹介する。
位置,量,対象関係の正確な変化に依存した短いクリップを生成する。
- 参考スコア（独自算出の注目度）: 15.01970646860744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing text-to-video retrieval benchmarks are dominated by real-world footage where much of the semantics can be inferred from a single frame, leaving temporal reasoning and explicit end-state grounding under-evaluated. We introduce GenState-AI, an AI-generated benchmark centered on controlled state transitions, where each query is paired with a main video, a temporal hard negative that differs only in the decisive end-state, and a semantic hard negative with content substitution, enabling fine-grained diagnosis of temporal vs. semantic confusions beyond appearance matching. Using Wan2.2-TI2V-5B, we generate short clips whose meaning depends on precise changes in position, quantity, and object relations, providing controllable evaluation conditions for state-aware retrieval. We evaluate two representative MLLM-based baselines, and observe consistent and interpretable failure patterns: both frequently confuse the main video with the temporal hard negative and over-prefer temporally plausible but end-state-incorrect clips, indicating insufficient grounding to decisive end-state evidence, while being comparatively less sensitive to semantic substitutions. We further introduce triplet-based diagnostic analyses, including relative-order statistics and breakdowns across transition categories, to make temporal vs. semantic failure sources explicit. GenState-AI provides a focused testbed for state-aware, temporally and semantically sensitive text-to-video retrieval, and will be released on huggingface.co.
- Abstract（参考訳）: 既存のテキストとビデオの検索ベンチマークは、一つのフレームから多くのセマンティクスを推測できる現実世界の映像に支配されており、時間的推論と明示的なエンドステートグラウンドの評価は過小評価されている。
我々は、制御された状態遷移を中心としたAI生成ベンチマークであるGenState-AIを紹介し、それぞれのクエリがメインビデオとペアリングされる。
Wan2.2-TI2V-5Bを用いて、位置、量、オブジェクト関係の正確な変化に依存した短いクリップを生成し、状態認識検索のための制御可能な評価条件を提供する。
2つの代表的MLLMベースラインを評価し,一貫した,解釈可能な障害パターンを観察した。両ビデオとも時間的硬度負と過優先の時間的好ましくないクリップとを頻繁に混同し,決定的な終状態証拠の根拠として不十分であるとともに,意味的置換に比較的敏感であることを示す。
さらに3重項に基づく診断分析を導入し、相対順序統計と遷移カテゴリー間の分解を行い、時間的・意味的故障源を明確にする。
GenState-AIは、状態認識、時間的、セマンティックに敏感なテキスト-ビデオ検索のためのテストベッドを提供する。
関連論文リスト
- LATERN: Test-Time Context-Aware Explainable Video Anomaly Detection [7.614138458711612]
視覚言語モデル(VLM)は、ビデオ異常検出(VAD)のための有望なパラダイムとして登場した。
本稿では,トークンの制約や理性から独立してセグメントレベルの推論を行うパイプラインの鍵となる制限に,時間的コンテキストを構造化せずに対処することを目的とする。
本稿では,VADを時間的証拠収集プロセスとして再構成したLATERNというコンテキスト認識フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-14T16:48:03Z) - TOC-Bench: A Temporal Object Consistency Benchmark for Video Large Language Models [9.648992690108086]
ビデオ大言語モデル(ビデオ-LLM)は、一般的なビデオ理解において大きな進歩を遂げているが、時間的オブジェクトの一貫性を維持する能力はいまだ探索されていない。
ビデオLLMにおける時間的オブジェクトの一貫性を評価するための診断ベンチマークであるTOC-Benchを紹介する。
論文 参考訳（メタデータ） (2026-05-11T02:47:59Z) - Interpreting Video Representations with Spatio-Temporal Sparse Autoencoders [3.3192479135000426]
本稿では,ビデオ表現におけるSparseencoencoders(SAE)の最初の体系的研究について述べる。
標準SAEは解釈可能な単意味の特徴に分解されるが、時間的コヒーレンスを破壊する。
TopKの選択はフレーム間の不安定な特徴割り当てを生成し、自動相関を36%削減する。
論文 参考訳（メタデータ） (2026-04-05T01:08:19Z) - CVA: Context-aware Video-text Alignment for Video Temporal Grounding [16.546053936240362]
時間に敏感なビデオテキストアライメントを実現するための新しいフレームワークであるCVA(Context-aware Video-text Alignment)を提案する。
まず、意味的に無関係なコンテンツだけが混在することを保証する新しいデータ拡張戦略であるQCD(Query-aware Context Diversification)を提案する。
第二に、文脈不変境界識別(CBD)損失は、時間的境界の挑戦において意味的一貫性を強制する対照的な損失である。
第3に、窓付き自己注意と双方向交差を組み合わせた階層型アーキテクチャであるContext-enhanced Transformer (CTE)を導入する。
論文 参考訳（メタデータ） (2026-03-26T01:53:00Z) - Video-R2: Reinforcing Consistent and Grounded Reasoning in Multimodal Language Models [56.851611990473174]
動的ビジュアルコンテンツに対する推論は、大きな言語モデルにとって依然として中心的な課題である。
本稿では,時間的精度と推論一貫性を両立させる強化学習手法を提案する。
結果のモデルであるVideo R2は、複数のベンチマークでTAC、VAS、精度を一貫して向上させる。
論文 参考訳（メタデータ） (2025-11-28T18:59:58Z) - VAGU & GtS: LLM-Based Benchmark and Framework for Joint Video Anomaly Grounding and Understanding [22.43740206690383]
ビデオ異常検出(VAD)は、ビデオ内の異常事象を特定し、その時間間隔を正確に決定することを目的としている。
VAGUは、異常理解と接地を統合する最初のベンチマークである。
Glance then Scrutinize (GtS) はテキストプロンプトでガイドされるトレーニング不要のフレームワークである。
また,意味的解釈可能性と時間的精度を共同で評価するJeAUG指標を提案する。
論文 参考訳（メタデータ） (2025-07-29T05:17:48Z) - DAVID-XR1: Detecting AI-Generated Videos with Explainable Reasoning [58.70446237944036]
DAVID-Xは、AI生成ビデオに詳細な欠陥レベル、時間空間アノテーションと有理書を組み合わせた最初のデータセットである。
DAVID-XR1は、視覚的推論の解釈可能な連鎖を提供するために設計されたビデオ言語モデルである。
以上の結果から,AI生成ビデオコンテンツの信頼性確認のための説明可能な検出手法が期待できることを示す。
論文 参考訳（メタデータ） (2025-06-13T13:39:53Z) - Context-aware TFL: A Universal Context-aware Contrastive Learning Framework for Temporal Forgery Localization [60.73623588349311]
本研究では,時間的フォージェリーローカライゼーションのための共通文脈対応コントラスト学習フレームワーク (UniCaCLF) を提案する。
提案手法は教師付きコントラスト学習を利用して,異常検出による偽造瞬間の検出と同定を行う。
実物と偽物との間における特徴の識別可能性の限界をさらに押し上げるために、効率的な文脈対応コントラスト符号化を導入する。
論文 参考訳（メタデータ） (2025-06-10T06:40:43Z) - On the Consistency of Video Large Language Models in Temporal Comprehension [57.985769348320616]
ビデオ大言語モデル(Video-LLMs)は、時間的に言語クエリを解析し、ビデオモーメントを検索することができる。
予測整合性 - 時間的根拠の堅牢性と信頼性を示す重要な指標である。
論文 参考訳（メタデータ） (2024-11-20T00:47:17Z) - TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。
ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。
GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
論文 参考訳（メタデータ） (2024-10-14T17:59:58Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳（メタデータ） (2022-03-10T08:58:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。