論文の概要: The Prestige: Benchmarking Cognitive Visual Reasoning using Magic Tricks
- arxiv url: http://arxiv.org/abs/2610.38103v1
- Date: Wed, 28 Oct 2026 00:41:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:09.933012
- Title: The Prestige: Benchmarking Cognitive Visual Reasoning using Magic Tricks
- Title（参考訳）: The Prestige:Magic Tricksを用いた認知的視覚推論のベンチマーク
- Abstract要約: 我々は、プロのマジックパフォーマンスを通じて認知的視覚的推論を探索するビデオ理解ベンチマークであるThe Prestigeを紹介する。
このベンチマークは、時間的、因果的な理解から、敵対的な質問に対する堅牢性まで、オープンな質問を含む。
ヒトと自動グレーティングの系統的な相違を見つけ,繰り返し発生するモデル故障モードを同定する。
- 参考スコア（独自算出の注目度）: 34.35148333542474
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce The Prestige, a video understanding benchmark that probes cognitive visual reasoning through professional magic performances, where deliberate misdirection challenges models to track events and explain unexpected outcomes. The benchmark comprises open-ended questions ranging from temporal and causal understanding to robustness against adversarial questions. Evaluation of leading open-source and proprietary VLMs reveals a substantial gap between even the strongest model and human performance. We also find systematic discrepancies between human and automated grading and identify recurring model failure modes. Ablations further show that models can select correct multiple-choice answers even when they fail to generate correct explanations independently, motivating further investigations into question formats. Together, these findings highlight limitations in both VLM reasoning and its evaluation, underscoring the need for more reliable video understanding models and more rigorous benchmarks.
- Abstract（参考訳）: 我々は、プロのマジックパフォーマンスを通じて認知的視覚的推論を探索するビデオ理解ベンチマークであるThe Prestigeを紹介した。
このベンチマークは、時間的、因果的な理解から、敵対的な質問に対する堅牢性まで、オープンな質問を含む。
オープンソースとプロプライエタリなVLMをリードする評価は、最強のモデルと人間のパフォーマンスの間に大きなギャップがあることを明らかにする。
また、人間と自動グレーティングの系統的な相違点を見つけ、繰り返し発生するモデル故障モードを同定する。
さらにアブレーションは、モデルが個別に正しい説明を生成できない場合でも、正しい複数選択の答えを選択できることを示し、質問形式に関するさらなる調査を動機付けている。
これらの結果は、より信頼性の高いビデオ理解モデルとより厳密なベンチマークの必要性を強調し、VLM推論と評価の両方における制限を強調している。
関連論文リスト
- Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding [98.3098451637867]
Video-MME-v2は、ビデオ理解の堅牢性と忠実さを厳格に評価するために設計された総合的なベンチマークである。
データ品質を保証するため、Video-MME-v2は厳格に制御された人間のアノテーションパイプラインを通して構築される。
論文 参考訳（メタデータ） (2026-04-06T17:59:56Z) - Discovering Failure Modes in Vision-Language Models using RL [28.02753553386619]
視覚言語モデル(VLM)は、人間が力ずくで識別する単純な視覚概念を誤解することが多い。
以前の研究では、これらの弱点を手動で特定し、しばしば特定のスキルの欠陥に起因することが判明した。
本稿では,任意の候補VLMの障害モードや盲点を自動的に検出する強化学習(RL)ベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-06T15:00:54Z) - Clue Matters: Leveraging Latent Visual Clues to Empower Video Reasoning [14.945921705882725]
この研究はMLLMビデオ理解における知覚と世代間のギャップを埋め、ビデオQAアプリケーションのための解釈可能で忠実な推論パラダイムを提供する。
階層的人間の視覚認知に着想を得たClueNetを提案する。
論文 参考訳（メタデータ） (2026-03-16T09:15:12Z) - Advancing Adaptive Multi-Stage Video Anomaly Reasoning: A Benchmark Dataset and Method [96.63801368613177]
本稿では,記述的理解から構造化多段階推論への映像異常解析を向上するタスクを提案する。
我々は8,641本のビデオからなる新しいデータセットを提示し、合計5万本以上のサンプルを作成し、ビデオ異常理解のための最大のデータセットの1つである。
提案したタスクとデータセットに基づいて,適応的階層的推論とリスク認識意思決定をサポートする,Vad-R1-Plusと呼ばれるエンドツーエンドのMLLMベースのVARモデルを開発する。
論文 参考訳（メタデータ） (2026-01-15T08:09:04Z) - MORABLES: A Benchmark for Assessing Abstract Moral Reasoning in LLMs with Fables [50.29407048003165]
MORABLESは,歴史文献から引用されたファブレットと短編から構築された人間検証ベンチマークである。
主なタスクは、道徳的推論をターゲットとした複数選択の質問として構成されており、モデルが浅く抽出された質問応答を超えるよう挑戦する注意深い注意を払っている。
以上の結果から,より大きなモデルはより小さなモデルよりも優れているが,敵の操作に敏感であり,真の道徳的推論よりも表面的パターンに頼っていることが示唆された。
論文 参考訳（メタデータ） (2025-09-15T19:06:10Z) - VCRBench: Exploring Long-form Causal Reasoning Capabilities of Large Video Language Models [29.706347050700867]
ビデオベース長周期因果推論(VCRBench)という新しいベンチマークを導入する。
VCRBenchは、LVLM(Large Video Language Model)が特定の目標を達成するために必要なイベントを特定し、推論し、正しくシーケンスできるかどうかをテストする。
本稿では,ビデオに基づく因果推論を,ビデオ認識と因果推論の2つのサブタスクに分割するモジュラーアプローチである認識推論分解(RRD)を提案する。
論文 参考訳（メタデータ） (2025-05-13T11:35:58Z) - MINERVA: Evaluating Complex Video Reasoning [72.12644008002566]
我々は、最新のマルチモーダルモデルのためのMINERVAと呼ばれる新しいビデオ推論データセットを提供する。
我々のデータセットはマルチモーダルであり、ビデオ領域と長さの点で多様であり、複雑なマルチステップの質問で構成されている。
我々は,様々なモデルにまたがる共通障害モードを特定するために,きめ細かいエラー解析を行い,推論エラーの分類を作成する。
論文 参考訳（メタデータ） (2025-05-01T17:41:49Z) - Video SimpleQA: Towards Factuality Evaluation in Large Video Language Models [77.96693360763925]
Video SimpleQAは、ビデオコンテキストにおける事実性評価に適した最初の包括的なベンチマークである。
我々の研究は、既存のビデオベンチマークとは以下の重要な特徴によって異なる: 知識: ビデオの明示的な物語を超えた外部知識の統合を要求する。
短い形式の決定的な答え: 回答は、最小のスコアリング分散を持つ短いフォーマットで、曖昧で決定的に正しいものとして作成されます。
論文 参考訳（メタデータ） (2025-03-24T17:46:09Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳（メタデータ） (2024-06-20T03:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。