論文の概要: Video-Index: A Curated Meta-Benchmark for Video Understanding
- arxiv url: http://arxiv.org/abs/2610.00960v1
- Date: Thu, 01 Oct 2026 02:46:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.85386
- Title: Video-Index: A Curated Meta-Benchmark for Video Understanding
- Title（参考訳）: Video-Index:ビデオ理解のためのメタベンチマーク
- Abstract要約: ビデオベンチマークは、同社が測定すると主張する能力に報いるべきだが、モデルは回答オプションや質問テキスト、あるいは部分的な視覚的証拠を活用できる。
攻撃ピラミッド,各項目へのアクセスの増加に伴う5レベルのショートカット攻撃,およびそれを用いた115のビデオベンチマークを紹介する。
エージェントは評価要求を仕様化し、レッドチームゲートを備えた決定論的セレクタは再現可能なベンチマークを構成する。
- 参考スコア（独自算出の注目度）: 34.133594273010765
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A video benchmark should reward the capability it claims to measure, yet models can exploit answer options, question text, or partial visual evidence. We introduce the attack pyramid, five levels of shortcut attacks with increasing access to each item, and audit 115 video benchmarks with it. On 35 benchmarks, attackers that never see a frame approach full-video accuracy. On 51 benchmarks with temporal probes, shuffled frames keep a median 96% of full-video accuracy. Near-duplicate questions make up at least half the items in 63 benchmarks. We screen 505,518 question-answer pairs from 112 of them into an audited pool. Agents turn evaluation requests into specifications, and a deterministic selector with a red-team gate composes reproducible benchmarks. We release Video-Index, the 210 hardest verified items under these attacks in each of four capability groups, 840 items from 76 sources. With the same fixed input, Claude Opus 5 outscores every open-source model by over 37 percentage points, and agent tools add about 20 more, yet all systems leave room to improve efficiency and accuracy. Blog: https://www.enxinsong.com/blog/video-index/ GitHub: https://github.com/Espere-1119-Song/Video-Index Hugging Face: https://huggingface.co/datasets/Video-Index/Video-Index
- Abstract（参考訳）: ビデオベンチマークは、同社が測定する能力に報いるはずだが、モデルは回答オプションや質問テキスト、あるいは部分的な視覚的証拠を活用できる。
攻撃ピラミッド,各項目へのアクセスの増加に伴う5レベルのショートカット攻撃,およびそれを用いた115のビデオベンチマークを紹介する。
35のベンチマークでは、フレームを見ないアタッカーがフルビデオの精度に近づく。
時間的プローブを持つ51のベンチマークでは、シャッフルフレームはフルビデオの精度の中央値96%を維持している。
ほぼ重複した質問は、63のベンチマークで少なくとも半数を占める。
112組から505,518組の質問応答ペアを監査プールに表示します。
エージェントは評価要求を仕様化し、レッドチームゲートを持つ決定論的セレクタは再現可能なベンチマークを構成する。
私たちは、76ソースから840項目の4つの機能グループで、これらの攻撃下で最も厳しい210の検証項目であるVideo-Indexをリリースしました。
同じ固定インプットで、Claude Opus 5はすべてのオープンソースモデルを37ポイント以上上回り、エージェントツールはさらに20ポイント追加するが、すべてのシステムが効率と正確性を向上させる余地を離れる。
ブログ: https://www.enxinsong.com/blog/video-index/GitHub: https://github.com/Espere-1119-Song/Video-Index Hugging Face: https://huggingface.co/datasets/Video-Index/Video-Index
関連論文リスト
- VideoLoop: Looped Working Memory Against Semantic Thrashing in Long-Form Video Agents [67.73068372825597]
ロングフォームビデオ理解には、多くの推論ステップに関する証拠を反復的に収集するマルチモーダルエージェントが必要である。
追加のみのワーキングメモリが増加すると、キーエビデンスへの注意は崩壊し、エージェントは、既に見つけたものへのアクセスを失う。
本稿では,新たに観測された目標証拠を付加できるが,蓄積した雑音を除去できないことを示す構造的議論を提案する。
ループを2つ結合したマルチモーダルエージェントであるVideoLoopを提案する。
論文 参考訳（メタデータ） (2026-09-29T17:50:21Z) - PlaylistEval: Can Video-Language Judges Be Trusted at Day Scale and Beyond? [22.64657639053244]
人間のアノテーションを使わずに100時間以上のプレイリストコレクションにビデオ言語判断ベンチマークを構築するエージェントフレームワークであるPlaylistEvalを紹介した。
フロンティアの審査員はペアの精度が75.4%しかなく、オープンソースの審査員モデルははるかに遅れている。
論文 参考訳（メタデータ） (2026-09-28T04:54:29Z) - VideoArgus: Agentic Rubric-Grounded Unified Evaluation for Video Generation and Editing [65.49021465098606]
VideoArgusは5つのビデオ生成と編集設定をカバーする統合フレームワークである。
VideoArgusは一度、出力盲のサンプル固有のルーリックを生成し、それを再利用して、対応するすべてのビデオを評価する。
論文 参考訳（メタデータ） (2026-08-06T00:28:38Z) - HarmVideoBench: Benchmarking Harmful Video Understanding in Large Multimodal Models [28.84235879847985]
大規模視覚言語モデル(LVLM)は、最近、自動コンテンツモデレーションにおいて大きな可能性を示している。
HarmVideoBenchは、1,379の動画と4,137の質問のペアからなる診断ベンチマークである。
BCRは,推論境界を予測し,必要なときにのみ動的にコンテキストを検索するベンチマークアライメント手法である。
論文 参考訳（メタデータ） (2026-06-25T15:50:33Z) - VideoAds for Fast-Paced Video Understanding [33.05564519544605]
広告ビデオ上でMLLMのパフォーマンスをベンチマークするための最初のデータセットであるVideoAdsを紹介する。
VideoAdsは、複雑な時間構造を持つよく計算された広告ビデオで構成されており、テキストに手動で注釈付けされた多様な質問が伴っている。
オープンソースのMLLMであるQwen2.5-VL-72Bは、ビデオ広告で73.35%の精度を実現し、GPT-4oとGemini-1.5 Proを上回っている。
論文 参考訳（メタデータ） (2025-04-12T17:05:35Z) - CG-Bench: Clue-grounded Question Answering Benchmark for Long Video Understanding [43.858197893052115]
CG-Benchは、長いビデオのヒント付き質問応答のための新しいベンチマークである。
14の一次カテゴリ、171の二次カテゴリ、638の第三カテゴリからなる粒度のシステムで、1,219の動画を手作業でキュレートする。
このベンチマークには、知覚、推論、幻覚という3つの主要な質問タイプに12,129のQAペアが含まれている。
論文 参考訳（メタデータ） (2024-12-16T18:46:45Z) - Goldfish: Vision-Language Understanding of Arbitrarily Long Videos [51.547065479762715]
任意の長さのビデオの解釈に適した手法を提案する。
また,TVQA-longベンチマークを導入し,視覚とテキストコンテンツの両方に疑問を呈する長編ビデオの理解におけるモデルの能力を評価する。
以上の結果から,本モデルでは長大・短大双方の理解が大幅に改善されていることが示唆された。
論文 参考訳（メタデータ） (2024-07-17T15:59:32Z) - Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。
知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。
このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
論文 参考訳（メタデータ） (2023-05-23T07:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。