論文の概要: The Low Frequency Trap: Video Language Models Fail at Simple Event Bookkeeping
- arxiv url: http://arxiv.org/abs/2608.06361v1
- Date: Thu, 06 Aug 2026 17:57:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.996795
- Title: The Low Frequency Trap: Video Language Models Fail at Simple Event Bookkeeping
- Title（参考訳）: 低周波トラップ:単純なイベント予約で失敗するビデオ言語モデル
- Abstract要約: 3つの制御されたビデオタスクにおけるイベントカウントのためのトレーサグラウンドパラメトリックプロファイリングを導入する。
2,190本のビデオでは,レンダリングを保ちながらイベントカウントNと周波数Fが異なる。
80%の信頼性しきい値において、Gemini 3.6 Flashは、0.5Hzと1.0Hzの12イベントまでの永続的な状態遷移を確実にカウントするが、過渡的点滅イベントに対する信頼性の高い正カウント領域は示さない。
- 参考スコア（独自算出の注目度）: 70.07961857926377
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world video benchmarks provide broad coverage, but their fixed clips entangle event count, rate, duration, and visual complexity, making failure modes hard to isolate. While existing programmatic benchmarks offer better control, they score only the final answer rather than auditing reported events against executable ground truth. To bridge this gap, we introduce trace-grounded parametric profiling for event counting in three controlled video tasks: bouncing-ball wall contacts, visual blinks, and categorical state transitions. Across 2,190 videos, we vary event count N and frequency F while holding rendering fixed. Each video includes an executable event trace for capability-surface estimation and timestamp-level evaluation. Our results reveal a staged temporal failure. At an 80% reliability threshold, Gemini 3.6 Flash reliably counts persistent state transitions up to 12 events at 0.5 and 1.0 Hz, yet demonstrates no reliable positive-count region for transient blinking events. Thus, event representation dictates whether a model initially accesses evidence -- a limitation that compounds as count and frequency increase. In the high-count, high-frequency regime, only 0.2% of final counts are correct and the model recovers just 18.1% of true events. To test if visual access is the primary bottleneck, we increase sampling rate. Although this boosts Bounce Ball accuracy from 19.6% to 29.3%, the reported sequence agrees with ground truth only 3.7% of the time. Extra frames can therefore inflate final scores without producing faithful event recovery. Different prompting strategies yield similarly limited gains, and real-world video evaluations show the same concentration of success at low event counts. Ultimately, trace-grounded profiling shifts video evaluation from aggregate accuracy metrics to a detailed diagnostic of where temporal reasoning fails.
- Abstract（参考訳）: 実世界のビデオベンチマークは広範なカバレッジを提供するが、固定されたクリップはイベント数、レート、持続時間、視覚的複雑さを絡み、障害モードの分離が困難になる。
既存のプログラムベンチマークは、より良いコントロールを提供するが、報告されたイベントを実行可能な土台真実に対して監査するのではなく、最終回答のみをスコアする。
このギャップを埋めるために,球面接触,視覚的瞬き,カテゴリー的状態遷移という3つの制御されたビデオタスクにおいて,イベントカウントのためのトレースグラウンドパラメトリックプロファイリングを導入する。
2,190本のビデオでは,レンダリングを保ちながらイベントカウントNと周波数Fが異なる。
各ビデオには、能力表面の推定とタイムスタンプレベルの評価のための実行可能なイベントトレースが含まれている。
我々の結果は、段階的な一時的失敗を明らかにした。
80%の信頼性しきい値において、Gemini 3.6 Flashは、0.5Hzと1.0Hzの12イベントまでの永続的な状態遷移を確実にカウントするが、過渡的点滅イベントに対する信頼性の高い正カウント領域は示さない。
したがって、イベント表現は、モデルが最初にエビデンスにアクセスするかどうかを規定する。
高頻度体制では、最終数値の0.2%しか正しくなく、真の事象の18.1%しか回復しない。
視覚的アクセスが主要なボトルネックであるかどうかをテストするため、サンプリング率を増加させる。
これによりバウンスボールの精度は19.6%から29.3%に向上するが、報告されたシーケンスは3.7%に留まる。
したがって、外部フレームは、忠実なイベントリカバリを発生させることなく最終的なスコアをインフレーションすることができる。
異なるプロンプト戦略は同様に利得を制限し、実世界のビデオ評価は、低い事象数で同じ成功率を示す。
最終的に、トレースグラウンドのプロファイリングは、ビデオの評価を集計精度の指標から、時間的推論の失敗箇所の詳細な診断へとシフトさせる。
関連論文リスト
- Strictly Causal Streaming Video Anomaly Detection with a Theoretically-Grounded State-Space Core [2.648500779572419]
ルックアヘッドもクリップバッファリングも不要な因果ストリーミング異常検出器を導入する。
その時空コアは、入力と状態依存の崩壊ゲートを持つ対角線状状態空間の再発である。
繰り返し減衰スペクトルと検出遅延と、確実に捕捉できる最も短い異常との間に閉じた形状関係を導出する。
論文 参考訳（メタデータ） (2026-08-25T16:52:32Z) - CaliBench: Are the Stochastic Dynamics of Video World Models Physically Calibrated? [6.39120343569684]
CaliBench は FID のような学習された特徴空間ではなく、離散空間で結果をスコアする。
我々は,1つの精度のメートル法が混在する2つの軸に性能を分解する: スコラビリティ, スコア可能な結果をもたらす世代数, その試料の基準からの全変動距離のキャリブレーション。
9つのシーンと6つのイメージ・ツー・ビデオモデル(WAN-2.7, SeeDance-2.0, HappyHorse-1.0, Veo 3.1, Runway Gen-4.5, Cosmos3-Super)に適用する。
論文 参考訳（メタデータ） (2026-08-17T17:14:50Z) - Conformal Coverage Guarantees for Any Video Temporal Grounder [2.3982445219832678]
連続ビデオにおけるイベント境界は曖昧である: 同じクエリ-ビデオペアと独立アノテータを再アノテートすると、大量のサンプルに対して半分以下に重複するモーメントをマークする。
COVERは出力オブジェクトを変更する。モデルに依存しないラッパーで、グライダー、訓練されたローカライザ、あるいはブラックボックスのビデオ言語モデルをすべて変換する。
2つのスコアファミリ、グラウンドに間隔を出力するグラウンドと、関連する信号を出力するグラウンドに超レベルセットのスコアの2つの境界ワイドスコア。
論文 参考訳（メタデータ） (2026-08-07T17:19:27Z) - From Accuracy to Visual Dependence: Auditing and Filtering Modality Collapse in Traffic VideoQA [44.46419663487345]
高いベンチマーク精度は、真の視覚的証拠の使用を保証するものではない。
交通事故のビデオ質問応答(VideoQA)におけるこの問題について検討する。
テキストのみの信頼度と視覚的必要信号を組み合わせたインスタンスレベルのショートカットスコアを提案する。
論文 参考訳（メタデータ） (2026-06-29T12:33:15Z) - Moment-Video: Diagnosing Temporal Fidelity of Video MLLMs on Momentary Visual Events [52.031070006859544]
ビデオマルチモーダル大言語モデル(MLLM)は、一般的なビデオ理解と長大なビデオ理解を急速に進歩させてきたが、短い回答クリティカルな視覚的証拠を保存できる能力はいまだに未発見のままである。
本稿では,映像MLLMの時間的忠実度を時間的視覚的事象理解によって診断するためのベンチマークであるMoment-Videoを紹介する。
論文 参考訳（メタデータ） (2026-06-01T17:32:20Z) - Don't Pause! Every prediction matters in a streaming video [55.509551643600794]
一般的なストリーミング知覚とアシスト機能を評価するマルチターンプロアクティブクエリを特徴とするSPOT-Benchを提案する。
SPOT-BenchにはTimeliness-F1が付属している。
i)オフラインモデルは、確実にイベントを検知するが、スパム予測は失敗する; (ii) サイレントをトレーニングした後、スパムを減らし、応答を低下させる; (iii) ストリーミングビデオの半分は応答を期待しない。
論文 参考訳（メタデータ） (2026-04-27T11:07:03Z) - From Frames to Events: Rethinking Evaluation in Human-Centric Video Anomaly Detection [9.404376027901277]
ポースベースのビデオ異常検出(VAD)は、プライバシー保護の性質と環境変動に対する堅牢性において大きな注目を集めている。
従来のフレームレベルの評価では、ビデオは孤立したフレームの集合として扱われ、現実の世界で異常がどのように現れ、行動するかを根本的に誤解している。
本稿では,階層的なガウススムースメントと適応二項化を備えたスコアリファインメントパイプラインと,イベントレベルの検出を直接生成するエンドツーエンドのデュアルブランチモデルという,時間的イベントローカライゼーションのための2つの戦略を紹介する。
論文 参考訳（メタデータ） (2026-04-10T13:52:18Z) - VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification [73.02304272829785]
VideoBenchは、証拠を厳格に検証する長ビデオ応答のための階層的なベンチマークだ。
これは、13のドメインに500の注釈付き質問を手動で記述し、時間間隔と空間境界ボックスを組み合わせて証拠とする。
GeminiPro-3-Proでさえ、標準のエンドツーエンドのQA設定で17%未満の質問に正しく答えている。
その結果,表面レベルでの回答の正しさと真正な証拠に基づく推論との間に大きなギャップが生じた。
論文 参考訳（メタデータ） (2026-04-02T03:29:43Z) - E.M.Ground: A Temporal Grounding Vid-LLM with Holistic Event Perception and Matching [87.38371267983263]
時間的ビデオグラウンディングは、クエリイベントに対応する時間セグメントを正確にローカライズすることを目的としている。
E.M.GroundはTVGのための新しいVid-LLMで、総合的で一貫性のあるイベント知覚に焦点を当てている。
E.M.Ground は最先端の Vid-LLM を著しく上回っている。
論文 参考訳（メタデータ） (2026-02-05T02:16:00Z) - Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。
知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。
このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
論文 参考訳（メタデータ） (2023-05-23T07:54:37Z) - Investigating Modality Bias in Audio Visual Video Parsing [31.83076679253096]
本稿では,時間的境界を持つ音声・視覚イベントラベルを検出するAVVP問題に焦点をあてる。
AVVPの既存の最先端モデルでは、ハイブリットアテンションネットワーク(HAN)を使用して、オーディオと視覚の両モードのクロスモーダルな特徴を生成する。
セグメントレベルとイベントレベルでの視覚的および音声視覚的イベントに対して,Fスコアが約2%と1.6%の絶対的な増加をもたらすHANの特徴集約の変種を提案する。
論文 参考訳（メタデータ） (2022-03-31T07:43:01Z) - Spatio-Temporal Event Segmentation and Localization for Wildlife
Extended Videos [6.279863832853343]
本稿では,時間的イベントセグメンテーションが可能な自己教師型予測フレームワークを提案する。
私たちは、標準的なディープラーニングのバックボーンによって計算される高レベルの機能の予測に頼っています。
野生生物モニタリングデータの10日間 (254時間) のビデオに対するアプローチを実演する。
論文 参考訳（メタデータ） (2020-05-05T20:11:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。