論文の概要: VRBench: A Benchmark for Multi-Step Reasoning in Long Narrative Videos
- arxiv url: http://arxiv.org/abs/2506.10857v2
- Date: Mon, 04 Aug 2025 09:11:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-05 14:07:57.088025
- Title: VRBench: A Benchmark for Multi-Step Reasoning in Long Narrative Videos
- Title（参考訳）: VRBench:ロングナラティブビデオにおけるマルチステップ推論のベンチマーク
- Authors: Jiashuo Yu, Yue Wu, Meng Chu, Zhifei Ren, Zizheng Huang, Pei Chu, Ruijie Zhang, Yinan He, Qirui Li, Songze Li, Zhenxiang Li, Zhongying Tu, Conghui He, Yu Qiao, Yali Wang, Yi Wang, Limin Wang,
- Abstract要約: 大型モデルの多段階推論能力を評価するために開発されたVRBenchは,最初の長めのナラティブビデオベンチマークである。
ビデオの長さは960本(平均1.6時間)で、人間ラベル付き多段階質問応答ペア8,243本、タイムスタンプ付き推論ステップ25,106本だ。
- 参考スコア（独自算出の注目度）: 41.9704057910616
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present VRBench, the first long narrative video benchmark crafted for evaluating large models' multi-step reasoning capabilities, addressing limitations in existing evaluations that overlook temporal reasoning and procedural validity. It comprises 960 long videos (with an average duration of 1.6 hours), along with 8,243 human-labeled multi-step question-answering pairs and 25,106 reasoning steps with timestamps. These videos are curated via a multi-stage filtering process including expert inter-rater reviewing to prioritize plot coherence. We develop a human-AI collaborative framework that generates coherent reasoning chains, each requiring multiple temporally grounded steps, spanning seven types (e.g., event attribution, implicit inference). VRBench designs a multi-phase evaluation pipeline that assesses models at both the outcome and process levels. Apart from the MCQs for the final results, we propose a progress-level LLM-guided scoring metric to evaluate the quality of the reasoning chain from multiple dimensions comprehensively. Through extensive evaluations of 12 LLMs and 19 VLMs on VRBench, we undertake a thorough analysis and provide valuable insights that advance the field of multi-step reasoning.
- Abstract（参考訳）: 提案するVRBenchは,大規模モデルの多段階推論能力を評価するために開発された最初の長編ビデオベンチマークであり,時間的推論と手続き的妥当性を見越した既存の評価の限界に対処する。
ビデオの長さは960本(平均1.6時間)で、人間ラベル付き多段階質問応答ペア8,243本、タイムスタンプ付き推論ステップ25,106本だ。
これらのビデオは、プロットのコヒーレンスを優先順位付けするための専門家間レビューを含む、多段階のフィルタリングプロセスを通じてキュレートされる。
我々は,コヒーレントな推論連鎖を生成する人間とAIの協調的なフレームワークを開発し,それぞれが時間的基盤を持つステップを複数必要としており,それぞれが7つのタイプ(例えば,イベント属性,暗黙の推論)にまたがっている。
VRBenchは、結果とプロセスレベルの両方でモデルを評価するマルチフェーズ評価パイプラインを設計する。
最終結果のMCQは別として,複数次元の推論チェーンの品質を総合的に評価する,進行レベルLLM誘導評価尺度を提案する。
本研究は,VRBench上での12LLMと19VLMの広範な評価を通じて,多段階推論の分野を推し進める上で有用な知見を提供する。
関連論文リスト
- HV-MMBench: Benchmarking MLLMs for Human-Centric Video Understanding [79.06209664703258]
MLLM(Multimodal Large Language Models)は、画像とビデオの両方を含む視覚的理解タスクにおいて、大きな進歩を見せている。
既存の人間中心のベンチマークは、主にビデオ生成の品質と行動認識を強調し、人間中心のシナリオに必要な知覚と認知の能力を見落としている。
我々は,人間中心のビデオ理解におけるMLLMのより総合的な評価を提供するために,厳格にキュレートされたベンチマークを提案する。
論文 参考訳（メタデータ） (2025-07-07T11:52:24Z) - MAGNET: A Multi-agent Framework for Finding Audio-Visual Needles by Reasoning over Multi-Video Haystacks [67.31276358668424]
AV-HaystacksQAという新しいタスクを導入し、クエリに応答して、異なるビデオにまたがる有能なセグメントを識別し、それらをリンクして最も有意義な回答を生成する。
AVHaystacksは、マルチビデオ検索および時間的グラウンドタスクにおけるLMMの能力を評価するために設計された3100の注釈付きQAペアからなるオーディオビジュアルベンチマークである。
提案するAVHaystackのQAタスクにおけるBLEU@4およびGPT評価スコアの基準値よりも89%と65%の相対的な改善を実現し、モデルに依存しないマルチエージェントフレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-08T06:34:29Z) - SVBench: A Benchmark with Temporal Multi-Turn Dialogues for Streaming Video Understanding [56.78088668917983]
SVBenchは時間的マルチターン質問応答チェーンを用いた先駆的ベンチマークである。
半自動アノテーションパイプラインを設計し、49,979対のQA(QA)と1,353本のストリーミングビデオを取得する。
対話とストリーミング評価の14モデルから得られた実験結果から, クローズドソースのGPT-4oは他より優れているが, 大部分のオープンソースLVLMは, 長文のストリーミングビデオ理解に苦慮していることがわかった。
論文 参考訳（メタデータ） (2025-02-15T14:29:44Z) - AVTrustBench: Assessing and Enhancing Reliability and Robustness in Audio-Visual LLMs [70.4578433679737]
我々は9つの細工されたタスクにまたがる600万のサンプルからなるAudio-Visual Trustworthiness Assessment Benchmark (AVTrustBench)を紹介する。
ベンチマークを用いて、13の最先端AVLLMを広範囲に評価した。
その結果、既存のモデルのほとんどは、人間のような理解を達成できないことが判明した。
論文 参考訳（メタデータ） (2025-01-03T23:03:24Z) - HLV-1K: A Large-scale Hour-Long Video Benchmark for Time-Specific Long Video Understanding [20.184894298462652]
我々は、長時間ビデオ理解モデルを評価するために、大規模な時間長ビデオベンチマークHLV-1Kを構築した。
HLV-1Kは、高品質質問応答(QA)とマルチチョイス質問応答(MCQA)を備えた1009時間ビデオからなる。
我々は,既存の最先端手法を用いてベンチマークを評価し,様々なレベルでの深層ビデオ理解能力をテストすることの価値を実証した。
論文 参考訳（メタデータ） (2025-01-03T05:32:37Z) - E.T. Bench: Towards Open-Ended Event-Level Video-Language Understanding [57.630136434038384]
E.T. Bench (Event-Level & Time-Sensitive Video Understanding Benchmark)は、イベントレベルのオープンな理解のための大規模ベンチマークである。
ベンチマークでは,8つの画像-LLMと12個のビデオ-LLMを広範囲に評価し,その結果から,粗い(ビデオレベル)理解のための最先端モデルが,きめ細かなタスクの解決に苦慮していることが判明した。
私たちのシンプルだが効果的なソリューションは、複数のシナリオで優れたパフォーマンスを示します。
論文 参考訳（メタデータ） (2024-09-26T17:53:04Z) - ReXTime: A Benchmark Suite for Reasoning-Across-Time in Videos [24.502570960589182]
ReXTimeは、ビデオイベント内で時間的推論を実行するAIモデルの能力を厳格にテストするために設計されたベンチマークである。
時間的推論と問合せのペアを生成する自動パイプラインを開発する。
私たちのパイプラインは、手作業なしで9,695個のマシン生成サンプルのトレーニングデータセットを作成しています。
論文 参考訳（メタデータ） (2024-06-27T17:59:45Z) - CinePile: A Long Video Question Answering Dataset and Benchmark [55.30860239555001]
我々は、CinePileという新しいデータセットとベンチマークを提示する。
包括的データセットは305,000の多重選択質問(MCQ)から構成されており、様々な視覚的・マルチモーダル的な側面をカバーしている。
トレーニングスプリットに関して、オープンソースのVideo-LLMを微調整し、データセットのテストスプリット上で、オープンソースとプロプライエタリなビデオ中心LLMの両方を評価しました。
論文 参考訳（メタデータ） (2024-05-14T17:59:02Z) - SEED-Bench: Benchmarking Multimodal LLMs with Generative Comprehension [27.53415400454066]
生成モデルを評価するためにSEED-Benchというベンチマークを導入する。
SEED-Benchは、正確な人間のアノテーションを持つ19Kの複数の選択質問からなる。
空間的および時間的理解の両面を網羅し,全12次元にわたる18モデルの性能評価を行った。
論文 参考訳（メタデータ） (2023-07-30T04:25:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。