論文の概要: HarmVideoBench: Benchmarking Harmful Video Understanding in Large Multimodal Models
- arxiv url: http://arxiv.org/abs/2606.27187v1
- Date: Thu, 25 Jun 2026 15:50:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.337073
- Title: HarmVideoBench: Benchmarking Harmful Video Understanding in Large Multimodal Models
- Title（参考訳）: HarmVideoBench: 大規模マルチモーダルモデルにおける有害なビデオ理解のベンチマーク
- Abstract要約: 大規模視覚言語モデル(LVLM)は、最近、自動コンテンツモデレーションにおいて大きな可能性を示している。
HarmVideoBenchは、1,379の動画と4,137の質問のペアからなる診断ベンチマークである。
BCRは,推論境界を予測し,必要なときにのみ動的にコンテキストを検索するベンチマークアライメント手法である。
- 参考スコア（独自算出の注目度）: 28.84235879847985
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large vision-language models (LVLMs) have recently shown immense potential in automated content moderation, sparking growing interest in developing harmful-video benchmarks. However, we identify two primary limitations in existing works: 1) The multi-layered characteristics of harmful videos are overlooked. Existing benchmarks predominantly formulate evaluation as a binary classification task, failing to capture implicit or deep contextual harms. 2) Explanatory rationales are completely absent. Current frameworks measure exclusively whether a model flags a video correctly rather than explaining why, turning evaluation into a black box where models can succeed through superficial shortcuts. To address these problems, we present HarmVideoBench, a multi-layered diagnostic benchmark comprising 1,379 videos paired with 4,137 multiple-choice questions. HarmVideoBench benchmarks three hierarchical dimensions: Observable Evidence, Clip-Internal Meaning, and Beyond-Clip Reasoning, aiming to evaluate models' deep understanding beyond surface cues with carefully balanced and curated samples. We evaluate 19 leading models on HarmVideoBench to assess their multidimensional understanding of harmful videos. Moreover, we introduce BCR, a benchmark-aligned method that predicts reasoning boundaries and dynamically retrieves context only when needed. Experimental results show that BCR substantially improves the base model's performance in harmful video understanding, raising the macro average from 61.7 percent to a state-of-the-art 84.4 percent.
- Abstract（参考訳）: 大規模視覚言語モデル(LVLM)は、最近、自動コンテンツモデレーションにおいて大きな可能性を示しており、有害なビデオベンチマークの開発への関心が高まっている。
しかし、既存の作品の2つの主要な制限を識別する。
1) 有害ビデオの多層的特性は見落としている。
既存のベンチマークは、主にバイナリ分類タスクとして評価を定式化し、暗黙的または深い文脈的害を捉えない。
2)説明的根拠は完全に欠落している。
現在のフレームワークは、理由を説明するのではなく、モデルがビデオを正しくフラグ付けするかどうかを専ら測定し、表面的なショートカットによってモデルが成功するブラックボックスに評価を変換している。
これらの問題に対処するために,1,379本の動画と4,137個の質問をペアリングした多層診断ベンチマークであるHarmVideoBenchを提案する。
HarmVideoBenchは3つの階層的な次元をベンチマークしている: オブザーバブルエビデンス、Clip-Internal Meaning、Beyond-Clip Reasoning。
我々は、有害ビデオの多次元的理解を評価するために、HarmVideoBench上で19の先行モデルを評価した。
さらに、BCRは、推論境界を予測し、必要なときにのみ動的にコンテキストを検索するベンチマークアライメント手法である。
実験の結果、BCRは有害な映像理解におけるベースモデルの性能を大幅に改善し、マクロ平均は61.7%から84.4%に上昇した。
関連論文リスト
- How Far Are Video Models from True Multimodal Reasoning? [32.10821745418955]
CLVG-Benchは、ビデオモデルのゼロショット推論能力を調査するために設計された評価フレームワークである。
高品質で手動で注釈付けされたメタデータが6つのカテゴリと47のサブカテゴリにまたがっている。
最小限のアノテーションを用いて人間の専門家の認識と一致した適応的ビデオ評価器(AVE)を提案する。
論文 参考訳（メタデータ） (2026-04-21T08:04:02Z) - Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding [98.3098451637867]
Video-MME-v2は、ビデオ理解の堅牢性と忠実さを厳格に評価するために設計された総合的なベンチマークである。
データ品質を保証するため、Video-MME-v2は厳格に制御された人間のアノテーションパイプラインを通して構築される。
論文 参考訳（メタデータ） (2026-04-06T17:59:56Z) - SAMA: Towards Multi-Turn Referential Grounded Video Chat with Large Language Models [93.73583158211115]
ビデオにおけるきめ細かい時間的理解の獲得は、現在のビデオ大マルチモデル(ビデオLMM)にとって大きな課題である。
私たちは、データセット、モデル、ベンチマークの3つの中核的な側面に貢献しています。
まず,ビデオ理解,グラウンドニング,マルチターンビデオチャットの共用学習を実現するため、15Kビデオからなる大規模データセットであるSAMA-239Kを紹介する。
第2に,広義の時間的コンテキストアグリゲータとセグメンションモデルを組み合わせたSAMAモデルを提案する。
論文 参考訳（メタデータ） (2025-05-24T18:13:16Z) - MINERVA: Evaluating Complex Video Reasoning [72.12644008002566]
我々は、最新のマルチモーダルモデルのためのMINERVAと呼ばれる新しいビデオ推論データセットを提供する。
我々のデータセットはマルチモーダルであり、ビデオ領域と長さの点で多様であり、複雑なマルチステップの質問で構成されている。
我々は,様々なモデルにまたがる共通障害モードを特定するために,きめ細かいエラー解析を行い,推論エラーの分類を作成する。
論文 参考訳（メタデータ） (2025-05-01T17:41:49Z) - CG-Bench: Clue-grounded Question Answering Benchmark for Long Video Understanding [43.858197893052115]
CG-Benchは、長いビデオのヒント付き質問応答のための新しいベンチマークである。
14の一次カテゴリ、171の二次カテゴリ、638の第三カテゴリからなる粒度のシステムで、1,219の動画を手作業でキュレートする。
このベンチマークには、知覚、推論、幻覚という3つの主要な質問タイプに12,129のQAペアが含まれている。
論文 参考訳（メタデータ） (2024-12-16T18:46:45Z) - TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。
ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。
GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
論文 参考訳（メタデータ） (2024-10-14T17:59:58Z) - Lost in Time: A New Temporal Benchmark for VideoLLMs [48.71203934876828]
現在最も使われているビデオ言語ベンチマークは、時間的推論を必要とせずに解決可能であることを示す。
提案するTVBenchは,オープンソースのマルチ選択質問応答ベンチマークである。
論文 参考訳（メタデータ） (2024-10-10T09:28:36Z) - MMBench-Video: A Long-Form Multi-Shot Benchmark for Holistic Video Understanding [67.56182262082729]
本稿では,ビデオ理解において大規模視覚言語モデル(LVLM)を厳格に評価するための定量的なベンチマークであるMMBench-Videoを紹介する。
MMBench-VideoにはYouTubeの長いビデオが組み込まれており、フリーフォームの質問を採用し、実用的なユースケースを反映している。
ベンチマークは、慎重に構築された能力の分類に従って人間に注釈を付けることで、モデルの時間的推論スキルを調査するために慎重に作成されている。
論文 参考訳（メタデータ） (2024-06-20T17:26:01Z) - VANE-Bench: Video Anomaly Evaluation Benchmark for Conversational LMMs [64.60035916955837]
VANE-Benchはビデオの異常や矛盾を検出するためのビデオLMMの熟練度を評価するために設計されたベンチマークである。
我々のデータセットは、既存の最先端のテキスト・ビデオ生成モデルを用いて合成された一連のビデオから構成される。
我々は、このベンチマークタスクにおいて、オープンソースとクローズドソースの両方で既存の9つのビデオLMMを評価し、ほとんどのモデルが微妙な異常を効果的に識別するのに困難に直面することを発見した。
論文 参考訳（メタデータ） (2024-06-14T17:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。