論文の概要: Can an LVLM Perceive Event Boundaries Like a Human?
- arxiv url: http://arxiv.org/abs/2611.16452v1
- Date: Thu, 12 Nov 2026 08:06:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.395438
- Title: Can an LVLM Perceive Event Boundaries Like a Human?
- Title(参考訳): LVLMは人間のようなイベント境界を認識できるのか?
- Abstract要約: LVLM(Large Vision-Language Models)は、ビデオコンテンツについて効果的に推論するが、それらが人間と整合した方法でイベント境界を知覚するかどうかは不明である。
我々はまず、連続ビデオにおいて人間が自然に知覚する事象境界を識別するジェネリックイベント境界検出(GEBD)を通してこれを調査する。
そこでは、境界発見にはより広い意味尺度が必要であり、ビデオ全体のLVLM精細化は現実的ではない。
- 参考スコア(独自算出の注目度): 15.113051792421716
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Vision-Language Models (LVLMs) reason effectively about video content, but whether they perceive its event boundaries in a manner consistent with humans remains unclear. We first investigate this through Generic Event Boundary Detection (GEBD), which identifies event boundaries naturally perceived by humans in continuous video, without relying on predefined event categories. On Kinetics-GEBD dataset, LVLMs miss many boundaries when predicting directly from frames, but effectively refine candidates proposed by an unsupervised discovery method, achieving state-of-the-art unsupervised GEBD performance. We extend this discovery-refinement approach to hour-long egocentric video, where boundary discovery requires a broader semantic scale and whole-video LVLM refinement becomes impractical. We address these challenges through coarse-to-fine temporal discovery and localized LVLM accept/reject judgments. Human evaluation shows that the LVLM's agreement with group consensus falls within the range observed among human annotators, with disagreements concentrated on low-consensus cases. Using this pipeline, we construct EgoBoundary, a benchmark for event boundary detection in hour-scale egocentric video. Representative supervised and unsupervised methods degrade substantially on EgoBoundary, highlighting the challenge of long-horizon event boundary detection.
- Abstract(参考訳): LVLM(Large Vision-Language Models)は、ビデオコンテンツについて効果的に推論するが、それらが人間と整合した方法でイベント境界を知覚するかどうかは不明である。
まず, 連続ビデオ中の自然に知覚される事象境界を, 予め定義された事象カテゴリに頼らずに識別するジェネリックイベント境界検出(GEBD)を用いて検討する。
Kinetics-GEBDデータセットでは、LVLMはフレームから直接予測する際に多くの境界を逸脱するが、教師なし発見法によって提案される候補を効果的に洗練し、最先端の教師なしGABD性能を実現する。
そこでは、境界発見にはより広い意味尺度が必要であり、ビデオ全体のLVLM精細化は現実的ではない。
これらの課題は、粗大な時間的発見と局所化LVLMの受容/拒絶判定によって解決される。
人間の評価は、LVLMとグループコンセンサスとの合意は、ヒトのアノテーターの間で観察される範囲に該当し、低コンセンサスケースに偏っていることを示している。
このパイプラインを用いて、時間スケールのエゴセントリックビデオにおけるイベント境界検出のベンチマークであるEgoBoundaryを構築した。
EgoBoundary上では、監視対象および教師なしのメソッドが大幅に劣化し、長距離イベント境界検出の課題が浮き彫りになった。
関連論文リスト
- Explainable Forensics of Manipulated Segments in Untrimmed Long Videos [50.190474724159465]
時間的AI生成セグメンテーションの局所化と説明のタスクを定式化する。
多様な操作パターンと豊富なアノテーション信号を備えた12,472の未トリミングビデオからなる大規模ベンチマークであるTASLEを紹介する。
そこで本稿では,MLLMに基づく精密な境界ローカライゼーションと解釈可能な推論のためのリファインメントモジュールと,効率的な長ビデオスキャンのためのバウンダリ感性提案生成モジュールを組み合わせた,粗大な法医学ベースラインであるMSLocを提案する。
論文 参考訳(メタデータ) (2026-06-01T15:48:38Z) - SphereVAD: Training-Free Video Anomaly Detection via Geodesic Inference on the Unit Hypersphere [90.85001795656633]
ビデオ異常検出(VAD)は、トリミングされていない監視ビデオの通常のパターンから逸脱するイベントを自動的に識別することを目的としている。
SphereVADはトレーニング不要でゼロショットのVADフレームワークで、単位超球面上の準比測地線推定をvon Mises-Fisher (vMF) と再放送する。
論文 参考訳(メタデータ) (2026-05-08T16:57:38Z) - Steering and Rectifying Latent Representation Manifolds in Frozen Multi-modal LLMs for Video Anomaly Detection [52.5174167737992]
ビデオ異常検出(VAD)は、ビデオ内の異常事象を特定することを目的としている。
本稿では,MLLMに基づくVADを受動的に読み上げから内部表現を積極的に操り,修正するSteerVADを提案する。
本手法は、トレーニングデータの1%しか必要としないチューニングフリーアプローチにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2026-02-27T13:48:50Z) - Generic Event Boundary Detection via Denoising Diffusion [42.88245960369029]
ジェネリックイベント境界検出は、ビデオ内の自然な境界を識別することを目的としており、それを明瞭で意味のあるチャンクに分割する。
従来は、決定論的予測に焦点が当てられ、可算解の多様性を見下ろしていた。
DiffGEBDと呼ばれる新しい拡散型境界検出モデルを導入し,ジェネレーティブの観点からGABDの問題に取り組む。
論文 参考訳(メタデータ) (2025-08-16T15:44:34Z) - EtC: Temporal Boundary Expand then Clarify for Weakly Supervised Video
Grounding with Multimodal Large Language Model [63.93372634950661]
不完全な境界を拡大する上で、より価値のある情報を導入しながら、元の時間的内容の整合性を維持する新しい視点を提案する。
ビデオの連続性、すなわち隣接するフレーム間の視覚的類似性により、我々は、初期擬似境界内で各フレームにアノテートするために強力なマルチモーダル大言語モデル(MLLM)を使用する。
論文 参考訳(メタデータ) (2023-12-05T04:15:56Z) - Temporal Action Localization with Enhanced Instant Discriminability [66.76095239972094]
時間的行動検出(TAD)は、すべての行動境界とその対応するカテゴリを、トリミングされていないビデオで検出することを目的としている。
本稿では,既存の手法による動作境界の不正確な予測を解決するために,TriDetという一段階のフレームワークを提案する。
実験結果から,複数のTADデータセット上でのTriDetの堅牢性と最先端性能が示された。
論文 参考訳(メタデータ) (2023-09-11T16:17:50Z) - UBoCo : Unsupervised Boundary Contrastive Learning for Generic Event
Boundary Detection [27.29169136392871]
ジェネリックイベント境界検出(GEBD)は、イベントのより深いセマンティック境界を見つけることを目的としている。
本稿では,時間的自己相似行列(TSM)を映像表現として,教師なし・教師なしのEBDのための新しいフレームワークを提案する。
我々のフレームワークは、教師なしと教師なしの両方に応用でき、最先端のパフォーマンスを大きなマージンで達成できる。
論文 参考訳(メタデータ) (2021-11-29T18:50:39Z) - Generic Event Boundary Detection: A Benchmark for Event Segmentation [21.914662894860474]
本稿では,ビデオ全体をチャンクに分割する一般的な分類のないイベント境界を検出するための新しいベンチマークとともに,新しいタスクを提案する。
本稿では,ジェネリックイベント境界検出(GEBD)と新しいベンチマークKinetics-GEBDを提案する。
人間が未来を正確に予測できない地点で境界をマークするという認知的発見に触発されて、教師なしのアプローチを探求する。
論文 参考訳(メタデータ) (2021-01-26T01:31:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。