論文の概要: Event ActivityNet: A Large-Scale Simulated-Event Benchmark for Untrimmed Action Understanding
- arxiv url: http://arxiv.org/abs/2608.01948v1
- Date: Mon, 03 Aug 2026 09:20:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.465416
- Title: Event ActivityNet: A Large-Scale Simulated-Event Benchmark for Untrimmed Action Understanding
- Title(参考訳): Event ActivityNet: 不正なアクション理解のための大規模シミュレートされたイベントベンチマーク
- Abstract要約: Event ActivityNetは、人間による注釈付き、トリミングされていないActivityNetビデオの大規模なシミュレートイベントベンチマークである。
アノテーション付きセグメントアクション認識、補助的なイベント言語アライメント、因果的オンライン時間的アクションローカライゼーションをサポートする。
プログレッシブなネストスケールトレーニングプロトコルでは、Top-1の精度は52.25から66.42に向上し、オンラインの時間的局所化平均mAPは21.7から29.0に改善した。
- 参考スコア(独自算出の注目度): 26.582838811672413
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-horizon event-based action understanding remains underexplored because existing datasets largely comprise short, trimmed clips, while collecting native event streams with dense temporal annotations is costly. We introduce Event ActivityNet, a large-scale simulated-event benchmark derived from human-annotated, untrimmed ActivityNet videos. It comprises 3,263 videos, 200 action classes, and 106.94 hours, with matched 5-bin and 9-bin event-voxel representations, temporal action annotations, and timestamped captions. The benchmark supports annotated-segment action recognition, auxiliary event-language alignment, and causal online temporal action localization. We generate event voxels directly from non-interpolated source videos in decoded frame order, retain per-video rational nominal or average frame-rate metadata for approximate time mapping, and use action-center reconstruction LPIPS as a soft diagnostic of retained reconstructable content. We establish baselines for adaptive event framing, prompt-caption alignment, and event-only, RGB-only, and RGB-event localization. Under a progressive nested-scale training protocol, recognition Top-1 accuracy increases from 52.25 to 66.42, while online temporal localization average mAP improves from 21.7 to 29.0. Moreover, staged Event ActivityNet pretraining followed by native-event fine-tuning consistently outperforms target-only and joint-from-scratch training across multiple supervision budgets. Event ActivityNet provides a scalable benchmark for long-horizon event modeling, although native-camera evaluation remains essential for deployment-oriented conclusions.
- Abstract(参考訳): 既存のデータセットは短くトリミングされたクリップで構成されているのに対して、密集した時間的アノテーションを備えたネイティブイベントストリームの収集にはコストがかかるため、ロングホライゾンイベントベースのアクション理解はまだ探索されていない。
本研究では,人間に注釈を付された非トリミングされたActivityNetビデオから得られた大規模シミュレーションイベントのベンチマークであるEvent ActivityNetを紹介する。
ビデオ3,263本、アクションクラス200本、106.94時間、マッチした5ビンと9ビンのイベントボクセル表現、時間的アクションアノテーション、タイムスタンプ付きキャプションがある。
このベンチマークは、注釈付きセグメントアクション認識、補助的なイベント言語アライメント、因果オンライン時間的アクションローカライゼーションをサポートする。
我々は、デコードされたフレーム順で非補間ソースビデオから直接イベントボクセルを生成し、ビデオごとの有理的または平均的なフレームレートメタデータを近似時間マッピングに保持し、復元可能なコンテンツのソフトな診断としてアクションセンター再構成LPIPSを使用する。
適応型イベントフレーミング、プロンプトキャプションアライメント、イベントオンリー、RGBオンリー、RGBオンリーのローカライゼーションのベースラインを確立した。
プログレッシブなネストスケールトレーニングプロトコルでは、Top-1の精度は52.25から66.42に向上し、オンラインの時間的局所化平均mAPは21.7から29.0に改善した。
さらに、ステージドのEvent ActivityNet事前トレーニングに続いて、ネイティブイベントの微調整が、複数の監督予算をまたいだ目標のみのトレーニングと連発トレーニングを一貫して上回っている。
Event ActivityNetは、長期にわたるイベントモデリングのためのスケーラブルなベンチマークを提供する。
関連論文リスト
- EventCoT: Event-centric Video Chain-of-thought for Reasoning Temporal Localization [39.30013113761109]
Reasoning temporal Localization (RTL) は、それをサポートする時間間隔を含む答えを生成するモデルを必要とする。
イベント中心のビデオチェーン・オブ・思想フレームワークであるEventCoTを提案する。
EventCoTは、入力ビデオのイベント中心のトークン化を実行し、それをコンパクトなイベントトークンに変換する。
その後、識別されたイベント内で応答を生成し、埋め込みマッチングを通じて時間間隔をグラウンド化する。
論文 参考訳(メタデータ) (2026-07-06T09:47:23Z) - NEST: Narrative Event Structures in Time for Long Video Understanding [6.938433277109506]
NEST(Narrative Event Structures in Time for Long Video Understanding)は1005本のフル長映画(約98分)のデータセットである。
NESTは、視覚コンテンツ、対話、音声を基盤とした構造化されたアノテーションでマルチモーダルな物語イベントをキャプチャし、物語構造を反映した関係を通してそれらをリンクする。
ETDは8%以下、ELは6%以下、EAEは11%以下である。
論文 参考訳(メタデータ) (2026-06-18T02:05:14Z) - E.M.Ground: A Temporal Grounding Vid-LLM with Holistic Event Perception and Matching [87.38371267983263]
時間的ビデオグラウンディングは、クエリイベントに対応する時間セグメントを正確にローカライズすることを目的としている。
E.M.GroundはTVGのための新しいVid-LLMで、総合的で一貫性のあるイベント知覚に焦点を当てている。
E.M.Ground は最先端の Vid-LLM を著しく上回っている。
論文 参考訳(メタデータ) (2026-02-05T02:16:00Z) - EventSTU: Event-Guided Efficient Spatio-Temporal Understanding for Video Large Language Models [56.16721798968254]
本研究では,EventSTUという,効率的な理解のためのイベント誘導学習自由フレームワークを提案する。
時間領域において、不要な大フレームを除去するために、イベントカメラのトリガー特性を変化させる粗大なサンプリングアルゴリズムを設計する。
空間領域では,イベントの正当性をゼロコストとして活用し,空間的縮小を誘導する適応的トークンプルーニングアルゴリズムを実現する。
論文 参考訳(メタデータ) (2025-11-24T09:30:02Z) - LET-US: Long Event-Text Understanding of Scenes [23.376693904132786]
イベントカメラは、マイクロ秒レベルの時間分解能を備えたスパースで非同期なデータとしてイベントストリームを出力する。
長いイベントストリーム・テキスト理解のためのフレームワークであるLET-USを紹介する。
適応圧縮機構を用いて、重要な視覚的詳細を保存しながら入力イベントの量を削減する。
論文 参考訳(メタデータ) (2025-08-10T16:02:41Z) - Uneven Event Modeling for Partially Relevant Video Retrieval [17.05658098065075]
部分関連ビデオ検索(PRVR)のための不均一事象モデリング(UEM)フレームワークを提案する。
まず、連続フレーム間の時間的依存関係と意味的類似性の両方を考慮してイベントを反復的に定式化するPGVS(Progressive-Grouped Video)モジュールを紹介する。
また、コンテキスト認識イベントリファインメント(CAER)モジュールを提案し、テキストのクロスアテンションを条件としたイベント表現を洗練させる。
論文 参考訳(メタデータ) (2025-06-01T08:21:45Z) - Event-aware Video Corpus Moment Retrieval [79.48249428428802]
Video Corpus Moment Retrieval(VCMR)は、未編集ビデオの膨大なコーパス内の特定の瞬間を特定することに焦点を当てた、実用的なビデオ検索タスクである。
VCMRの既存の方法は、典型的にはフレーム対応のビデオ検索に依存し、クエリとビデオフレーム間の類似性を計算して、ビデオをランク付けする。
本研究では,ビデオ検索の基本単位として,ビデオ内のイベントを明示的に活用するモデルであるEventFormerを提案する。
論文 参考訳(メタデータ) (2024-02-21T06:55:20Z) - Boundary-Denoising for Video Activity Localization [57.9973253014712]
本稿では,映像活動のローカライゼーション問題について,認知的視点から検討する。
具体的には,DenoiseLocというエンコーダデコーダモデルを提案する。
実験によると、DenoiseLocはいくつかのビデオアクティビティ理解タスクで%前進している。
論文 参考訳(メタデータ) (2023-04-06T08:48:01Z) - A Unified Framework for Event-based Frame Interpolation with Ad-hoc Deblurring in the Wild [72.0226493284814]
本稿では,デブロリングアドホックを行うイベントベースフレームの統一フレームワークを提案する。
我々のネットワークは、フレーム上の従来の最先端の手法、単一画像のデブロアリング、および両者のジョイントタスクを一貫して上回ります。
論文 参考訳(メタデータ) (2023-01-12T18:19:00Z) - Team RUC_AIM3 Technical Report at Activitynet 2020 Task 2: Exploring
Sequential Events Detection for Dense Video Captioning [63.91369308085091]
本稿では、イベントシーケンス生成のための新規でシンプルなモデルを提案し、ビデオ中のイベントシーケンスの時間的関係を探索する。
提案モデルでは,非効率な2段階提案生成を省略し,双方向時間依存性を条件としたイベント境界を直接生成する。
総合システムは、チャレンジテストセットの9.894 METEORスコアで、ビデオタスクにおける密封イベントの最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-06-14T13:21:37Z) - Weakly Supervised Temporal Action Localization Using Deep Metric
Learning [12.49814373580862]
本稿では,トレーニング中の映像レベルのアクションインスタンスのみを統括する時間的行動ローカライズ手法を提案する。
標準バックプロパゲーションアルゴリズムを用いて,バランスの取れた2進クロスエントロピー損失とメートル法損失を共同で最適化する。
IoU閾値0.5でTHUMOS14を6.5%mAP改善し,ActivityNet1.2の競合性能を実現した。
論文 参考訳(メタデータ) (2020-01-21T22:01:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。