論文の概要: STORM-Bench: Evaluating Online Video QA under Evolving and Incomplete Evidence
- arxiv url: http://arxiv.org/abs/2609.30981v1
- Date: Fri, 25 Sep 2026 08:27:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.296159
- Title: STORM-Bench: Evaluating Online Video QA under Evolving and Incomplete Evidence
- Title（参考訳）: STORM-Bench: 進化と不完全なエビデンスの下でのオンラインビデオQAの評価
- Abstract要約: 現在STORM-Benchは630エピソードにまたがる5,736の質問から成り立っている。
オンラインの精度は60.3%(平均51.7%)、STORM-BRは5.7%から35.6%(平均18.8%)である。
- 参考スコア（独自算出の注目度）: 35.53455523414424
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reliable online video question answering requires tracking state transitions while selectively abstaining when visual evidence is insufficient. Existing benchmarks focus on static recognition or long-range retrieval, rarely evaluating these coupled capabilities under evolving and incomplete evidence. We present STORM-Bench, comprising 5,736 questions across 630 compact, change-dense episodes spanning five egocentric domains (STORM-Real) and two controlled simulation subsets (STORM-Sim) at 1 FPS. Questions are stratified by a proxy for accumulated change intensity (Low, Medium, High) and query-time answerability (Known, Uncertain). To measure reliability, we introduce STORM-BR, a harmonic metric over joint answer-status correctness that exposes abstention failures masked by aggregate accuracy, alongside STORM-BR-ATTR for uncertainty attribution. Across 14 video LLMs, online accuracy peaks at 60.3\% (mean 51.7\%), whereas STORM-BR ranges from 5.7\% to 35.6\% (mean 18.8\%), driven by pervasive overconfidence on uncertain queries. STORM-Bench shows that task accuracy masks these gaps in epistemic reliability and state tracking. Benchmark and code are available at https://github.com/siruzhong/STORM-Bench.
- Abstract（参考訳）: 信頼性の高いオンラインビデオ質問応答には、視覚的証拠が不十分な場合に選択的に停止しながら状態遷移を追跡する必要がある。
既存のベンチマークは静的認識や長距離検索に重点を置いており、進化的かつ不完全な証拠の下でこれらの結合能力を評価することはまれである。
我々は,5つのエゴセントリックドメイン(STORM-Real)と2つの制御シミュレーションサブセット(STORM-Sim)にまたがる630のコンパクトで複雑なエピソードにまたがる5,736の質問からなるSTORM-Benchを提案する。
質問は、蓄積された変化強度(Low, Medium, High)とクエリ時の応答可能性(Known, Uncertain)のプロキシによって階層化される。
信頼度を計測するために,共同回答の正当性に対する高調波測定値STORM-BRを導入し,不確実性に対するSTORM-BR-ATTRとともに,集合的精度で隠蔽された禁忌障害を露呈する。
一方、STORM-BRは5.7\%から35.6\%(平均18.8\%)の範囲で、不確実なクエリに対する過信が原因である。
STORM-Benchは、タスク精度がこれらのギャップをエピステマティックな信頼性と状態トラッキングで隠蔽していることを示している。
ベンチマークとコードはhttps://github.com/siruzhong/STORM-Bench.comで入手できる。
関連論文リスト
- TrustDABench: Benchmarking Reliability and Robustness of LLMs for Structured Data Analysis [42.62413276719373]
信頼できる結果は、ユーザ質問から関連するデータエビデンスへの有効なパスによってサポートされるべきである。
この要件は2つの診断質問を生成する: LLMがそのような経路が存在しない場合、答えを拒否するか、明確化を求めることができるか、同じ証拠が異なる表形式で表現された場合、正しい分析を維持できるかである。
信頼性と堅牢性としてこれらの質問を運用するベンチマークであるTrustDABenchを紹介します。
論文 参考訳（メタデータ） (2026-08-25T07:09:01Z) - FADE: From Passive Verification to Active Discovery in Counterfactual Video Understanding [19.559643217912114]
既存のMultiple-choice question (MCQ)ベンチマークは、質問や候補オプションを通じて、意図的にターゲットイベントをリークする。
本稿では, 対実的発見と説明のための効果的なトレーニングフレームワークであるFADEを紹介する。
FADEは、DualityVidQA-test と IPV-Bench の3つのタスクにまたがる、最先端の厳密なペアスコアを達成し、GPT-5.6を上回った。
論文 参考訳（メタデータ） (2026-08-11T10:22:08Z) - Confidence-Aware Tool Orchestration for Robust Video Understanding [30.37722671405153]
本稿では,フレーム単位の信頼性を推論のあらゆる段階に統合するエージェントビデオ理解フレームワークであるRobust-TOを提案する。
8つのタスクにまたがる2つのビデオ推論ベンチマークで、Robost-TOはクリーンな入力で平均56.4%の精度を達成した。
5つの現実的な汚職タイプの下では、Robust-TOは54.3%の平均精度を維持し、5.8%が最強のオープンソースベースラインより上である。
論文 参考訳（メタデータ） (2026-06-25T11:37:51Z) - AgentFinVQA: A Deployable Multi-Agent Pipeline for Auditable Financial Chart QA [7.135926644099901]
我々はAgentFinVQAを提案する。AgentFinVQAはマルチエージェントパイプラインで、各クエリをプランニング、OCR、レジェンドグラウンド、ビジュアルインスペクション、検証に分解する。
FinMMEでは、AgentFinVQAはプロプライエタリなバックボーンを持つゼロショットベースラインにマッチするプライマリバックボーンよりも$+7.68$ ppを改善している。
誤り分析は、疑問の誤解、伝説の混乱、抽出誤りが失敗の3分の2近くを占めていることを示している。
論文 参考訳（メタデータ） (2026-06-18T04:33:07Z) - Multi-Axis Trust Modeling for Interpretable Account Hijacking Detection [1.0152838128195467]
本稿では,ハディスにインスパイアされたマルチ軸信頼モデリングフレームワークを提案する。
我々は,5つの信頼軸 – 長期的整合性(アダラ),行動精度(ダブト),文脈連続性(アイソナド),累積的評価,異常証拠 – を,ユーザアカウントに対して意味論的に意味のある行動特徴からなる26のコンパクトなセットに翻訳する。
CLUE-LDSクラウドアクティビティデータセットのフレームワークを,インジェクトされたアカウントハイジャックシナリオを用いて評価した。
論文 参考訳（メタデータ） (2026-02-20T19:36:30Z) - Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。
ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文 参考訳（メタデータ） (2025-12-31T13:55:54Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳（メタデータ） (2024-11-05T01:11:28Z) - Synchronous Faithfulness Monitoring for Trustworthy Retrieval-Augmented Generation [96.78845113346809]
Retrieval-augmented Language Model (RALMs) は、知識集約型タスクにおいて、高い性能と幅広い適用性を示している。
本稿では,非偽文の検出に微細な復号力学を利用する軽量モニタであるSynCheckを提案する。
また、長文検索拡張生成のためのビームサーチによって導かれる忠実度指向の復号アルゴリズムであるFODを導入する。
論文 参考訳（メタデータ） (2024-06-19T16:42:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。