論文の概要: SVI-Bench: A Dynamic Microworld for Strategic Video Intelligence
- arxiv url: http://arxiv.org/abs/2605.31529v1
- Date: Fri, 29 May 2026 16:43:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.758151
- Title: SVI-Bench: A Dynamic Microworld for Strategic Video Intelligence
- Title（参考訳）: SVI-Bench: 戦略的ビデオインテリジェンスのための動的マイクロワールド
- Abstract要約: SVI-Benchは、チームスポーツにおけるビデオインテリジェンスのための大規模なベンチマークである。
これは、実世界のマルチエージェント相互作用の複雑さと、明示的なルールの検証可能性と決定的な結果の組み合わせである。
放送ビデオ35K時間、注釈付きアクション15M時間、専門家コメント15K時間、ゲームレポート23K、構造化された統計記録103Kで構成される。
評価は, 動的シーン理解, 因果推論, 戦略的シミュレーション, エージェント合成という, プログレッシブな4ピラー階層にまたがる9つのタスクにまとめる。
- 参考スコア（独自算出の注目度）: 37.243523702695754
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: True video intelligence demands more than recognizing what is visible: it requires reasoning about why events unfold, predicting what would change under different conditions, and deciding what to do next. We refer to this progression, from perception through causal reasoning and simulation to strategic planning, as Strategic Video Intelligence (SVI). No existing benchmark evaluates this capability stack: in-the-wild videos lack verifiable ground truth for causal and strategic questions, while synthetic environments sacrifice the complexity of real multi-agent systems. To bridge this gap, we introduce SVI-Bench, a large-scale benchmark that leverages team sports as a dynamic microworld, combining the complexity of real-world multi-agent interaction (10-22 agents making coordinated decisions under adversarial pressure) with the verifiability of explicit rules and definitive outcomes. SVI-Bench comprises approximately 35K hours of broadcast video, 15M annotated actions, 15K hours of expert commentary, 23K game reports, and 103K structured statistical records across basketball, soccer, and hockey, all constructed via a data engine that transforms raw game data into a dense, cross-referenced corpus. We organize evaluation into 9 tasks spanning a progressive four-pillar hierarchy: Dynamic Scene Understanding, Causal Reasoning, Strategic Simulation, and Agentic Synthesis. Evaluating strong multimodal and agentic baselines, we find a capability cliff: models perform competently on perceptual tasks, achieving approximately 73% on fine-grained action QA, but degrade sharply at each successive cognitive level. Agentic tasks prove hardest: the strongest model achieves only 5% accuracy when required to autonomously gather and integrate evidence across a corpus of 1.8M clips.
- Abstract（参考訳）: 真のビデオインテリジェンスは、何が見えるかを認識するよりも、なぜイベントが広がるのかを推論し、異なる条件下で何が変わるのかを予測し、次に何をするかを決定する必要がある。
我々は、因果推論やシミュレーションから戦略的計画まで、この進歩をストラテジック・ビデオ・インテリジェンス(SVI)と呼ぶ。
既存のベンチマークでは、この能力のスタックを評価していない。Wildの動画は因果的および戦略的問題に対して検証可能な真実を欠いているが、合成環境は実際のマルチエージェントシステムの複雑さを犠牲にしている。
このギャップを埋めるため,チームスポーツを動的ミクロ世界として活用する大規模ベンチマークSVI-Benchを導入する。
SVI-Benchは、約35Kの放送ビデオ、15Mの注釈付きアクション、15Kのエキスパートコメント、15Kのゲームレポート、23Kのゲームレポート、103Kの構造化された統計記録から構成される。
評価は, 動的シーン理解, 因果推論, 戦略的シミュレーション, エージェント合成という, プログレッシブな4ピラー階層にまたがる9つのタスクにまとめる。
モデルが知覚的タスクに対して有能に機能し、きめ細かい動作QAで約73%を達成するが、連続する認知レベルでは急激に低下する。
最強のモデルは、1.8Mクリップのコーパスにまたがって、自律的に証拠を収集し統合するために必要な場合、5%の精度しか達成できない。
関連論文リスト
- VideoGAIA: A Benchmark for General AI Assistants on Agentic Video Understanding [73.10050069618302]
VideoGAIAは、汎用人工知能アシスタントのためのエージェントビデオ理解ベンチマークである。
VideoGAIAには、多様で複雑な現実世界のシナリオをカバーする、モデルと人間の共同設計タスクが271個含まれている。
GPT-5.5やKim-K3のようなフロンティアモデルを含む全ての評価されたMLLMは、ビデオGAIAで60%未満の精度を実現している。
論文 参考訳（メタデータ） (2026-08-12T03:24:44Z) - 3rd Place at CVPR 2026 CASTLE Challenge: Agentic Multi-View Long-Context Video Understanding via Hierarchical Knowledge Graph Retrieval [0.8594140167290097]
本稿では,CVPR 2026ワークショップにおけるCASTLE 2026 Challengeの優勝方法論について述べる。
我がチームは世界3位を獲得した。
ベースとなるデータセットは、エゴとエクソカメラのソースによって撮影された600時間以上の同期映像で構成されている。
論文 参考訳（メタデータ） (2026-06-01T09:01:32Z) - MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs [54.81359054218573]
大規模言語モデル(LLM)のためのマルチゲームアリーナと評価プラットフォームであるMindgamesを紹介する。
Mindgamesは、統合されたインタラクションインターフェース、TrueSkillベースの評価、および4つのゲーム環境にわたる完全な軌跡ログを提供する。
我々は,決定論的オフライントーナメントプロトコルMG-Refとともに,ターンレベルの観察,アクション,報酬を含む29,571個のマルチエージェントゲームを分析した。
論文 参考訳（メタデータ） (2026-05-28T07:33:47Z) - EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。
EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。
ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
論文 参考訳（メタデータ） (2026-05-11T00:04:19Z) - EgoEsportsQA: An Egocentric Video Benchmark for Perception and Reasoning in Esports [45.11533142825268]
EgoEsportsQAは、専門家のエスポート知識に対する認識と推論を基盤とする、先駆的なビデオ質問回答(QA)ベンチマークである。
我々は、スケーラブルな6段階のパイプラインを通じて、3つのファーストパーソンシューティングゲーム間でのプロの試合から、1,745の高品質QAペアをキュレートする。
論文 参考訳（メタデータ） (2026-04-14T05:53:16Z) - GameplayQA: A Benchmarking Framework for Decision-Dense POV-Synced Multi-Video Understanding of 3D Virtual Agents [4.920953895710103]
本稿では,エージェント中心の認識と推論をビデオ理解を通じて評価するフレームワークであるGameplayQAを紹介する。
我々は,自己,他エージェント,世界という三進的システムを中心に構築された状態,行動,イベントの同時キャプションを同期した,1.22ラベル/秒のマルチプレイヤー3Dゲームプレイビデオを高密度に注釈付けする。
これらのアノテーションを用いて,3段階の認知複雑性に分類された2.4Kの診断QAペアを改良し,構造的障害分類を行った。
論文 参考訳（メタデータ） (2026-03-25T14:10:45Z) - MMSI-Video-Bench: A Holistic Benchmark for Video-Based Spatial Intelligence [61.065486539729875]
MMSI-Video-Bench(MMSI-Video-Bench)は、MLLMにおけるビデオベースの空間知能の完全な人為的なベンチマークである。
4段階のフレームワークである知覚、計画、予測、クロスビデオ推論を運用しており、1,278のクリップで1,106の質問を下敷きにしている。
オープンソースとプロプライエタリなMLLMを25種類評価し,AIギャップが顕著であることを明らかにした。
論文 参考訳（メタデータ） (2025-12-11T17:57:24Z) - E.T. Bench: Towards Open-Ended Event-Level Video-Language Understanding [57.630136434038384]
E.T. Bench (Event-Level & Time-Sensitive Video Understanding Benchmark)は、イベントレベルのオープンな理解のための大規模ベンチマークである。
ベンチマークでは,8つの画像-LLMと12個のビデオ-LLMを広範囲に評価し,その結果から,粗い(ビデオレベル)理解のための最先端モデルが,きめ細かなタスクの解決に苦慮していることが判明した。
私たちのシンプルだが効果的なソリューションは、複数のシナリオで優れたパフォーマンスを示します。
論文 参考訳（メタデータ） (2024-09-26T17:53:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。