論文の概要: CountVideoBench: A Benchmark to Evaluate Prediction Biases on the Object Counting task by Video-Language Models

• arxiv url: http://arxiv.org/abs/2610.28356v2
• Date: Wed, 21 Oct 2026 11:52:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.094132
• Title: CountVideoBench: A Benchmark to Evaluate Prediction Biases on the Object Counting task by Video-Language Models
• Title（参考訳）: CountVideoBench:ビデオ言語モデルによるオブジェクトカウントタスクの予測バイアス評価ベンチマーク
• Abstract要約: CountVideoBenchは、26の基数(5, 50](それぞれ100)をカバーする2,600の合成ビデオのベンチマークである。 濃度の精度の依存性は、単調な減少から非単調なピーク・アンド・崩壊パターンまで、モデルによって異なる。 これらの知見は、この基本的な視覚能力を確実に評価するために、バランスのとれた診断計数ベンチマークの必要性を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 1.1747898287324572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Object counting in videos remains a poorly characterized capability of multimodal large language models. Counting questions are included in many existing VideoQA benchmarks, but the ground-truth count distributions in these benchmarks are heavily skewed toward small values. Across the nine benchmarks we survey, the median ground-truth count is at most five, and the three most frequent values together account for between 45% and 93% of the videos. The resulting mean accuracy is then dominated by the most frequent counts; a value-dependent bias at a rare count contributes negligibly to the average and remains invisible. We introduce CountVideoBench, a benchmark of 2,600 synthetic videos covering 26 cardinalities in the interval [5, 50] (100 videos each), grouped into six clusters of consecutive counts that span the range while enabling near-neighbor comparisons. Each video contains a single class of static objects under a controlled camera motion, removing object motion and reducing recognition as confounds. We evaluate sixteen video-language models from nine architecture families in a zero-shot setting. No model exceeds 27.6% Exact Match. The dependence of accuracy on cardinality varies across models, ranging from monotonic decline to a non-monotonic peak-and-collapse pattern, which rules out increasing difficulty with cardinality as the dominant explanation of counting failure. Every model further concentrates its predictions on its own set of preferred integers, with accuracy peaks coinciding with these values and collapsing at adjacent counts. These findings highlight the need for balanced, diagnostic counting benchmarks to reliably assess this fundamental visual capability.
• Abstract（参考訳）: ビデオ中のオブジェクトのカウントは、マルチモーダルな大言語モデルの能力に劣る。 多くの既存のVideoQAベンチマークには数えきれない質問が含まれているが、これらのベンチマークの実際の数値分布は小さな値に対して大きく歪んでいる。 調査した9つのベンチマークのうち、中位は5つであり、最も頻度の高い3つの値は、ビデオの45%から93%である。 結果として得られた平均精度は最も頻繁なカウントによって支配され、希少なカウントにおける値依存バイアスは平均に無視的に寄与し、目に見えないままである。 2600の合成ビデオのベンチマークであるCountVideoBenchを紹介した。このベンチマークは、[5, 50]の間隔で26の基数(それぞれ100)をカバーし、近距離比較を行いながら6つの連続数からなるクラスタにグループ化されている。 各ビデオは、制御されたカメラモーションの下で、単一の静的オブジェクトのクラスを含み、オブジェクトの動きを除去し、コンファウンドとしての認識を減らす。 ゼロショット設定で9つのアーキテクチャファミリから16の動画言語モデルを評価する。 27.6%を超えるモデルはない。 基数への精度の依存性は、単調下降から非単調ピーク・アンド・崩壊パターンまで、モデルによって異なる。 すべてのモデルは、これらの値と一致し、隣接する数で崩壊する精度のピークを持つ、自身の好む整数の集合にその予測をさらに集中させる。 これらの知見は、この基本的な視覚能力を確実に評価するために、バランスのとれた診断計数ベンチマークの必要性を浮き彫りにしている。

関連論文リスト

• Meta-Video: Efficient Standardized Evaluation for Video Understanding [44.839785842760335]
  さまざまなタスクと時間にまたがる791本の動画に対して、バランスのとれた1000のクエストのベンチマークを作成しました。 我々は,結果に影響を及ぼす選択を分離するために,構成空間を網羅して標準化された評価プロトコルを確立する。
  論文  参考訳（メタデータ） (2026-10-13T15:18:12Z)
• NumBench: Diagnosing Counting Failures in Text-to-Image Models [27.391694807526857]
  テキスト・トゥ・イメージ(T2I)モデルは、しばしば間違った数のオブジェクトを生成するが、既存のベンチマークは、理由を説明するには小さすぎるか弱すぎる。 textbfは1,600のカテゴリにまたがる640,000のプロンプトと1から100までのカウントのベンチマークです。 また、要求されたインスタンスが解決可能な画像領域の有限セットに競合するプロセスモデルも開発する。
  論文  参考訳（メタデータ） (2026-08-28T11:26:19Z)
• HarmVideoBench: Benchmarking Harmful Video Understanding in Large Multimodal Models [28.84235879847985]
  大規模視覚言語モデル(LVLM)は、最近、自動コンテンツモデレーションにおいて大きな可能性を示している。 HarmVideoBenchは、1,379の動画と4,137の質問のペアからなる診断ベンチマークである。 BCRは,推論境界を予測し,必要なときにのみ動的にコンテキストを検索するベンチマークアライメント手法である。
  論文  参考訳（メタデータ） (2026-06-25T15:50:33Z)
• VidNum-1.4K: A Comprehensive Benchmark for Video-based Numerical Reasoning [0.0]
  ビデオベースの数値推論は、ビジョン・ランゲージ・モデル(VLM)が真に現実世界の力学を「理解」しているかどうかをテストするための最前線である。 我々は1,379人の厳密な人間によるビデオ検索ペアからなる総合的なビデオQAベンチマークであるVidNum-1.4Kを紹介した。
  論文  参考訳（メタデータ） (2026-04-04T12:10:09Z)
• EC-Bench: Enumeration and Counting Benchmark for Ultra-Long Videos [56.23636449524238]
  現実世界の録音は数分間かそれ以上で、希少で多様なイベントを含むことが多い。 既存のビデオカウントベンチマークのほとんどはショートクリップにフォーカスし、最終的な数値解のみを評価する。 本稿では,長文ビデオの列挙,カウント,時間的証拠を共同評価するベンチマークEC-Benchを紹介する。
  論文  参考訳（メタデータ） (2026-03-31T16:16:17Z)
• ActionAtlas: A VideoQA Benchmark for Domain-specialized Action Recognition [111.32822459456793]
  ActionAtlasは、様々なスポーツのショートビデオを含むビデオ質問応答ベンチマークである。 このデータセットには、56のスポーツで580のユニークなアクションを示す934の動画が含まれており、合計1896のアクションが選択できる。 我々は、このベンチマークでオープンでプロプライエタリな基礎モデルを評価し、最高のモデルであるGPT-4oが45.52%の精度を達成することを発見した。
  論文  参考訳（メタデータ） (2024-10-08T07:55:09Z)
• Anchor Points: Benchmarking Models with Much Fewer Examples [88.02417913161356]
  6つの人気のある言語分類ベンチマークでは、多数の点の正しいクラスに対するモデル信頼度はモデル間で強く相関している。 Anchor Point Selectionは,データセット全体にわたるモデル動作をキャプチャする,データセットの小さなサブセットを選択する手法である。 平均絶対誤差が低いデータセットの他のすべての点について、クラスごとの予測モデルを推定するために、いくつかのアンカーポイントを使用することができる。
  論文  参考訳（メタデータ） (2023-09-14T17:45:51Z)
• Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
  本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。 知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。 このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
  論文  参考訳（メタデータ） (2023-05-23T07:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。