論文の概要: PlaylistEval: Can Video-Language Judges Be Trusted at Day Scale and Beyond?

• arxiv url: http://arxiv.org/abs/2609.34314v1
• Date: Mon, 28 Sep 2026 04:54:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 21:57:50.260756
• Title: PlaylistEval: Can Video-Language Judges Be Trusted at Day Scale and Beyond?
• Title（参考訳）: PlaylistEval:ビデオランゲージの審査員は一日中信頼できるのか?
• Abstract要約: 人間のアノテーションを使わずに100時間以上のプレイリストコレクションにビデオ言語判断ベンチマークを構築するエージェントフレームワークであるPlaylistEvalを紹介した。 フロンティアの審査員はペアの精度が75.4%しかなく、オープンソースの審査員モデルははるかに遅れている。
• 参考スコア（独自算出の注目度）: 22.64657639053244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video-language models are increasingly used as judges of video understanding, both for evaluating model outputs and for training reward models. Whether their judgments remain reliable when the evidence is buried in day-long videos has yet to be established. Existing benchmarks cannot answer this. Their videos are typically only a few minutes long, many answer pairs can be separated from the transcript alone, and collecting human judgments does not scale to ultra-long videos. We introduce PlaylistEval, an agentic framework that builds video-language judge benchmarks over 100-hour playlist collection without human annotation. It automatically generates questions with paired answers whose differences are controlled by causal degradation, so that every pair demands retrieval across the collection. The resulting benchmark contains 630 pairs across seven domains spanning both static and dynamic knowledge, and on a stratified subset of 152 pairs it agrees with human judgments 93.0% of the time (IAA 0.781). Evaluating 17 omnimodal and multimodal models from eight families reveals that frontier judges reach only 75.4% pairwise accuracy, while open-source judge models perform far behind. We further show that both retrieval and final judgment depend on using multiple modalities, and that judge accuracy degrades as the playlist set grows. We release our pipeline, benchmark, and evaluation code at https://playlisteval.github.io.
• Abstract（参考訳）: ビデオ言語モデルは、モデルアウトプットの評価とトレーニング報酬モデルの両方において、ビデオ理解の判断としてますます使われている。 証拠が1日のビデオに埋もれても、その判断が信頼できるかどうかはまだ定かではない。 既存のベンチマークでは、これに答えられません。 彼らのビデオは通常数分で終わるが、多くの解答ペアは文字起こしのみから切り離すことができ、人間の判断は超長いビデオにスケールしない。 人間のアノテーションを使わずに100時間以上のプレイリストコレクションにビデオ言語判断ベンチマークを構築するエージェントフレームワークであるPlaylistEvalを紹介した。 因果分解によって差が制御されるペア答による質問を自動的に生成し、各ペアがコレクション全体の検索を要求する。 結果のベンチマークには、静的知識と動的知識の両方にまたがる7つのドメインにわたる630対が含まれており、152対の階層化されたサブセットでは、その時間の93.0%(IAA 0.781)と一致している。 8つのファミリーから17の雑用モデルとマルチモーダルモデルを評価すると、フロンティアの審査員は75.4%のペアの精度しか得られず、オープンソースの審査員モデルははるかに遅れている。 さらに、検索と最終判定は、複数のモーダルの使用に依存し、プレイリストセットが大きくなるにつれて判断精度が低下することを示す。 パイプライン、ベンチマーク、評価コードはhttps://playlisteval.github.io.comでリリースしています。

関連論文リスト

• Frame-Level Evaluation in Weakly Supervised Video Anomaly Detection Mostly Measures Video-Level Ranking [2.3296196518120915]
  ビデオ内の時間的順序付けにはMicro-AUROCを、ビデオ間の比較にはCross-AUROCを、ビデオ内の時間的順序付けにはMicro-AUROCを分解する。 上海技術、XD-Violence、UCF-Crime全体では、異常フレームと通常のフレームの比較の0.071-0.388%が同じビデオ内で発生している。 我々は、同じビデオレベルの監督下で、異常なビデオバイナリ分類器を訓練し、すべてのフレームで各ビデオスコアを繰り返す。
  論文  参考訳（メタデータ） (2026-08-22T08:56:56Z)
• WorldJen: An End-to-End Multi-Dimensional Benchmark for Generative Video Models [0.8640786765448132]
  WorldJenは、生成ビデオモデルを評価するためのフレームワークである。 7つのアノテーションから2,696個のペアワイズアノテーションを蓄積する。 VLM-as-a-judge 評価エンジンを開発した。
  論文  参考訳（メタデータ） (2026-05-05T08:03:34Z)
• EC-Bench: Enumeration and Counting Benchmark for Ultra-Long Videos [56.23636449524238]
  現実世界の録音は数分間かそれ以上で、希少で多様なイベントを含むことが多い。 既存のビデオカウントベンチマークのほとんどはショートクリップにフォーカスし、最終的な数値解のみを評価する。 本稿では,長文ビデオの列挙,カウント,時間的証拠を共同評価するベンチマークEC-Benchを紹介する。
  論文  参考訳（メタデータ） (2026-03-31T16:16:17Z)
• MINERVA: Evaluating Complex Video Reasoning [72.12644008002566]
  我々は、最新のマルチモーダルモデルのためのMINERVAと呼ばれる新しいビデオ推論データセットを提供する。 我々のデータセットはマルチモーダルであり、ビデオ領域と長さの点で多様であり、複雑なマルチステップの質問で構成されている。 我々は,様々なモデルにまたがる共通障害モードを特定するために,きめ細かいエラー解析を行い,推論エラーの分類を作成する。
  論文  参考訳（メタデータ） (2025-05-01T17:41:49Z)
• TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
  TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。 ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。 GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)
• Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs [20.168429351519055]
  ビデオ理解はマルチモーダル大言語モデル(LMLM)にとって重要な次のステップである 合成ビデオ生成によるベンチマーク構築フレームワークであるVideoNIAH(Video Needle In A Haystack)を提案する。 我々は、プロプライエタリモデルとオープンソースモデルの両方を包括的に評価し、ビデオ理解能力の重大な違いを明らかにする。
  論文  参考訳（メタデータ） (2024-06-13T17:50:05Z)
• Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
  本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。 知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。 このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
  論文  参考訳（メタデータ） (2023-05-23T07:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。