論文の概要: BVB: Benchmarking Agentic Video Understanding via Programmatic Reconstruction in Blender
- arxiv url: http://arxiv.org/abs/2609.15478v2
- Date: Tue, 22 Sep 2026 12:43:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-24 01:05:39.625088
- Title: BVB: Benchmarking Agentic Video Understanding via Programmatic Reconstruction in Blender
- Title（参考訳）: BVB:Blenderにおけるプログラム再構成によるエージェントビデオ理解のベンチマーク
- Abstract要約: 実世界の映像をアニメBlenderシーンとして再構成するよう依頼することで、エージェントが映像を再構成する能力をテストする。
このベンチマークでは、アニメーションカメラからそれぞれの再構成をレンダリングし、2つの軸で評価する。(1)デュアルVQAは、再現が保存される事実の数を計測し、(2)ラテント類似度は、元の映像とどのように密に一致しているかを測定する。
最良の88.6ラテント類似性は到達するが、ソースの正確な時間解の53.7%しか保持しない。
- 参考スコア（独自算出の注目度）: 46.08439123011388
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal agents can create complex videos in software such as Blender by coding without relying on diffusion models. Yet video understanding benchmarks still evaluate models mainly through question answering. If an agent truly understands a video, it can reconstruct it programmatically. We introduce BVB, Blender-VideoBench, a benchmark that tests this ability by asking agents to reconstruct real-world videos as animated Blender scenes. To ensure fair comparison, each agent programs the reconstruction through a lightweight harness, Mini-BVB, in an identical sandbox under a shared cost limit. The benchmark renders each reconstruction from its animated camera and evaluates it on two axes: (1) Dual VQA measures how many spatiotemporal facts the reconstruction preserves. (2) Latent Similarity measures how closely the reconstruction matches the source video perceptually. Our overall score, a square-root mean, favors balanced performance. We evaluate 51 configurations from 10 model families and analyze semantic retention, perceptual similarity, reasoning effort, and cost. The best model reaches 88.6 Latent Similarity but retains only 53.7% of the source-correct spatiotemporal answers. Additional reasoning improves visual similarity but does not close this gap in factual accuracy. In a blind study with 15 raters and five configurations, Latent Similarity correlates strongly with human preference. These results show that programmatic reconstruction is a viable test of agentic video understanding, and that semantic retention remains the main challenge.
- Abstract（参考訳）: マルチモーダルエージェントは、拡散モデルに頼ることなくコーディングすることで、Blenderのようなソフトウェアで複雑なビデオを作成することができる。
しかし、ビデオ理解ベンチマークは、主に質問応答を通じてモデルを評価する。
エージェントが本当にビデオを理解すれば、それをプログラムで再構築することができる。
我々はBVB, Blender-VideoBenchを紹介した。Blenderのアニメーションシーンとして、現実世界のビデオの再構築をエージェントに依頼することで、この能力をテストできるベンチマークだ。
公正な比較を確保するため、各エージェントは、共有コスト制限の下で同一のサンドボックス内の軽量ハーネスであるMini-BVBを介して再構成をプログラムする。
このベンチマークは、アニメーションカメラからそれぞれの再構成をレンダリングし、2つの軸で評価する: 1) デュアルVQAは、復元が保存する時空間的事実の数を測定する。
2) ラテント類似度は, 映像の映像の映像との密接な一致度を測定する。
全体のスコア、すなわち平方根の平均は、バランスの取れたパフォーマンスを好んでいます。
10のモデルファミリーから51の構成を評価し,意味的保持,知覚的類似性,推論の努力,コストを分析した。
最良のモデルは88.6ラテント類似度に達するが、ソース修正時空間回答の53.7%しか保持しない。
追加の推論は視覚的類似性を改善するが、実際の精度でこのギャップを埋めることはない。
15人のラテンダーと5つの構成を持つ盲目研究において、ラテント類似性は人間の好みと強く相関する。
これらの結果は,プログラム的再構成がエージェント的ビデオ理解の有効なテストであり,意味的保持が大きな課題であることを示している。
関連論文リスト
- VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System [77.32035315337522]
テキストビデオモデルは物理的に一貫したダイナミクスを生成するのに苦労し、シーンの時間的進化は圧縮されたテキストプロンプトから暗黙的に推論されなければならない。
既存のチェーン・オブ・シークレットのアプローチは中間計画や視覚的状態を導入しているが、これらの表現は通常、非計算可能または時間的にスパースである。
我々は,実行可能なBlenderコードがプロセスレベルの思考の連鎖として機能する,エージェント型デュアルエンジンフレームワークであるVideoCoを紹介した。
論文 参考訳（メタデータ） (2026-07-29T18:38:23Z) - ReConFuse: Reconstruction-Error Guided Semantic Fusion for AI-Generated Video Detection [10.547980601243518]
ビデオレベルのAI生成ビデオ検出のための再構成誘導型セマンティックフュージョンフレームワークReConFuseを提案する。
ReConFuseは、WF-VAE再構成ビデオから再構成エラーキューを抽出し、それらを多フレームセマンティック特徴と整列させ、Mambaベースのモジュールを使用してビデオレベルの分類のための時間的進化をモデル化する。
論文 参考訳（メタデータ） (2026-06-03T10:35:47Z) - WorldJen: An End-to-End Multi-Dimensional Benchmark for Generative Video Models [0.8640786765448132]
WorldJenは、生成ビデオモデルを評価するためのフレームワークである。
7つのアノテーションから2,696個のペアワイズアノテーションを蓄積する。
VLM-as-a-judge 評価エンジンを開発した。
論文 参考訳（メタデータ） (2026-05-05T08:03:34Z) - Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding [98.3098451637867]
Video-MME-v2は、ビデオ理解の堅牢性と忠実さを厳格に評価するために設計された総合的なベンチマークである。
データ品質を保証するため、Video-MME-v2は厳格に制御された人間のアノテーションパイプラインを通して構築される。
論文 参考訳（メタデータ） (2026-04-06T17:59:56Z) - Video-Based Reward Modeling for Computer-Use Agents [40.27314571412647]
本研究では,エージェントの内部的推論や行動に依存しないエージェント軌道からのシーケンスのシーケンスを,実行ビデオから得られる報酬モデリングについて検討する。
本稿では,53kの高品質ビデオ・タスク・リワード・トリプルのデータセットであるExecution Video Reward 53k(ExeVR-53k)を紹介する。
これらのコンポーネント上に構築したExecution Video Model (ExeVRM) は,タスク成功を予測するためにユーザ命令とビデオ実行シーケンスのみを必要とする。
論文 参考訳（メタデータ） (2026-03-10T19:17:22Z) - VIPER: Process-aware Evaluation for Generative Video Reasoning [64.86465792516658]
我々は、時間的、構造的、象徴的、空間的、物理的、計画的推論にまたがる16のタスクにまたがる包括的なベンチマークVIPERを紹介する。
実験の結果,現状の映像モデルでは約20%のPOC@1.0しか達成できず,良好な結果が得られた。
論文 参考訳（メタデータ） (2025-12-31T16:31:59Z) - TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。
ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。
GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
論文 参考訳（メタデータ） (2024-10-14T17:59:58Z) - Correspondence Matters for Video Referring Expression Comprehension [64.60046797561455]
ビデオ参照表現(REC)は、文章に記述された参照オブジェクトをビデオフレーム内の視覚領域にローカライズすることを目的としている。
既存の手法では,1)ビデオフレーム間の非一貫性な局所化結果,2)参照オブジェクトとコンテキストオブジェクトの混同という2つの問題に悩まされている。
本稿では、フレーム間およびクロスモーダルの両方で密接な関連性を明確に強化する新しいデュアル対応ネットワーク(DCNet)を提案する。
論文 参考訳（メタデータ） (2022-07-21T10:31:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。