論文の概要: Meta-Video: Efficient Standardized Evaluation for Video Understanding

• arxiv url: http://arxiv.org/abs/2610.18535v1
• Date: Tue, 13 Oct 2026 15:18:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 20:50:26.431951
• Title: Meta-Video: Efficient Standardized Evaluation for Video Understanding
• Title（参考訳）: Meta-Video: ビデオ理解のための効率的な標準化された評価
• Abstract要約: さまざまなタスクと時間にまたがる791本の動画に対して、バランスのとれた1000のクエストのベンチマークを作成しました。 我々は,結果に影響を及ぼす選択を分離するために,構成空間を網羅して標準化された評価プロトコルを確立する。
• 参考スコア（独自算出の注目度）: 44.839785842760335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video understanding benchmarks are the primary yardstick for measuring progress in video-language modeling, and a growing body of work relies on them to claim improvements. The reported benchmark scores in these works, however, are almost always produced by frameworks (e.g., lmms eval) used as black boxes: certain evaluation choices like frame sampling, preprocessing, and input formatting are inherited from preset defaults and seldom inspected carefully. We show these unexamined choices are a major source of variance. Even for the same model checkpoint, evaluation configuration alone can shift accuracy by up to 19.5pp. Hence, it is unclear whether reported gains reflect genuine improvements in capability or differences in evaluation setup. Moreover, many benchmark samples offer little evidence of visual capability, since they can be answered without the video, and the full suites are expensive to evaluate. We address these issues in two parts. First, we curate existing suites for discriminability and efficiency, producing Meta-Video, a balanced 1,000-question benchmark over 791 videos spanning diverse tasks and durations, which largely preserves model rankings, at 5 times inference speedup for a full-frame count sweep experiment (4-128 frames). Second, we establish a standardized evaluation protocol by sweeping the configuration space to isolate choices that measurably affect results, distill them into best practices and reporting standards, and release reproducible reference scores across five models and seven benchmarks. We hope that the proposed evaluation framework and the Meta-Video benchmark will support video understanding research by providing a reproducible and efficient foundation to measure progress in a reliable way.
• Abstract（参考訳）: ビデオ理解ベンチマークは、ビデオ言語モデリングの進捗を計測するための主要なヤードスティックである。 しかしながら、これらの研究で報告されたベンチマークスコアは、ほとんど常にブラックボックスとして使用されるフレームワーク(例: lmms eval)によって生成される:フレームサンプリング、前処理、入力フォーマットなどの特定の評価選択は、予め設定されたデフォルトから継承され、慎重に検査されることは滅多にない。 これらの未検討の選択が分散の主要な原因であることを示す。 同じモデルチェックポイントであっても、評価設定だけで19.5ppまでの精度を変更できる。 したがって、報告された利得が真の能力向上や評価設定の相違を反映しているかどうかは不明である。 さらに、多くのベンチマークサンプルでは、ビデオなしで答えられるため、視覚能力の証拠はほとんど得られず、完全なスイートを評価するのに費用がかかる。 これらの問題を2つの部分で解決する。 まず、識別可能性と効率性のための既存のスイートをキュレートし、Meta-Videoを作成した。Meta-Videoは、さまざまなタスクと期間にまたがる791のビデオのバランスのとれた1000のクエストベンチマークで、モデルランキングを5倍の速度で保存し、フルフレームカウントスイープ実験(4-128フレーム)を行う。 第2に、5つのモデルと7つのベンチマークで再現可能な基準スコアをリリースし、その結果を計測可能な選択を抽出し、それらをベストプラクティスと報告基準に抽出し、再現可能な基準スコアを出力することで、標準化された評価プロトコルを確立する。 提案した評価フレームワークとMeta-Videoベンチマークは、信頼性の高い方法で進捗を測定するための再現性と効率的な基礎を提供することで、映像理解研究を支援することを期待する。

関連論文リスト

• FIRM-Video: Check Before You Score for Reliable Text-to-Video Reward Modeling [39.98419782895457]
  本稿では,チェックリスト駆動型データ構築フレームワークFIRM-Videoを紹介する。 29,348本のビデオから,88,044本の寸法を持つFIRM-Video-90Kを構築し,750本のポイントワイドな人間のアノテーションを用いたFIRM-Video-Benchを紹介した。 Qwen3-VLベースのFIRM-Video-8Bは、FIRM-Video-Benchで最高のMAEを達成しつつ、最高VBenchトータル、品質、セマンティックスコアを継続的に提供する。
  論文  参考訳（メタデータ） (2026-08-22T08:21:40Z)
• MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation [88.7702943548674]
  マルチショットオーディオビデオ生成のための,初の総合的なベンチマークと適応型ハイブリッド評価フレームワークであるMSAVBenchを紹介する。 私たちのベンチマークでは、ビデオ、オーディオ、ショット、参照の4つの重要な領域にまたがっており、多様なタスク設定、最大15のショット数、非現実的なシナリオに挑戦しています。 MSAVBenchは人間の判断と高度に一致し、スピアマンのランク相関は91.5%に達する。
  論文  参考訳（メタデータ） (2026-05-19T17:59:33Z)
• UniVBench: Towards Unified Evaluation for Video Foundation Models [29.73247324829126]
  ビデオファウンデーションモデルは、ビデオ理解、生成、編集、インストラクションを単一のフレームワークに統合することを目的としている。 UniVBenchは、4つのコア能力にまたがるビデオ基盤モデルを評価するためのベンチマークである。 本ベンチマークでは,200本の高画質・多機能・マルチショット映像を取り入れることで,評価の複雑さを大幅に拡大する。
  論文  参考訳（メタデータ） (2026-02-25T12:08:53Z)
• VIPER: Process-aware Evaluation for Generative Video Reasoning [64.86465792516658]
  我々は、時間的、構造的、象徴的、空間的、物理的、計画的推論にまたがる16のタスクにまたがる包括的なベンチマークVIPERを紹介する。 実験の結果,現状の映像モデルでは約20%のPOC@1.0しか達成できず,良好な結果が得られた。
  論文  参考訳（メタデータ） (2025-12-31T16:31:59Z)
• VideoScore2: Think before You Score in Generative Video Evaluation [69.43069741467603]
  VideoScore2は、視覚的品質、テキスト・ツー・ビデオのアライメント、物理的/常識的一貫性を明確に評価する多次元、解釈可能、そして人間によるアライメントフレームワークである。 我々のモデルは、27,168人の注釈付きビデオを含む大規模なデータセットVideoFeedback2で訓練されている。
  論文  参考訳（メタデータ） (2025-09-26T18:09:03Z)
• Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
  本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。 知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。 このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
  論文  参考訳（メタデータ） (2023-05-23T07:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。