論文の概要: Generic Event Boundary Detection: A Benchmark for Event Segmentation
- arxiv url: http://arxiv.org/abs/2101.10511v1
- Date: Tue, 26 Jan 2021 01:31:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-14 15:07:26.917866
- Title: Generic Event Boundary Detection: A Benchmark for Event Segmentation
- Title（参考訳）: ジェネリックイベント境界検出:イベントセグメンテーションのベンチマーク
- Authors: Mike Zheng Shou, Deepti Ghadiyaram, Weiyao Wang, Matt Feiszli
- Abstract要約: 本稿では,ビデオ全体をチャンクに分割する一般的な分類のないイベント境界を検出するための新しいベンチマークとともに,新しいタスクを提案する。
本稿では,ジェネリックイベント境界検出(GEBD)と新しいベンチマークKinetics-GEBDを提案する。
人間が未来を正確に予測できない地点で境界をマークするという認知的発見に触発されて、教師なしのアプローチを探求する。
- 参考スコア（独自算出の注目度）: 21.914662894860474
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a novel task together with a new benchmark for detecting
generic, taxonomy-free event boundaries that segment a whole video into chunks.
Conventional work in temporal video segmentation and action detection focuses
on localizing pre-defined action categories and thus does not scale to generic
videos. Cognitive Science has known since last century that humans consistently
segment videos into meaningful temporal chunks. This segmentation happens
naturally, with no pre-defined event categories and without being explicitly
asked to do so. Here, we repeat these cognitive experiments on mainstream CV
datasets; with our novel annotation guideline which addresses the complexities
of taxonomy-free event boundary annotation, we introduce the task of Generic
Event Boundary Detection (GEBD) and the new benchmark Kinetics-GEBD. Through
experiment and human study we demonstrate the value of the annotations. We view
this as an important stepping stone towards understanding the video as a whole,
and believe it has been previously neglected due to a lack of proper task
definition and annotations. Further, inspired by the cognitive finding that
humans mark boundaries at points where they are unable to predict the future
accurately, we explore un-supervised approaches based on temporal
predictability. We identify and extensively explore important design factors
for GEBD models on the TAPOS dataset and our Kinetics-GEBD while achieving
competitive performance and suggesting future work. We will release our
annotations and code at CVPR'21 LOVEU Challenge:
https://sites.google.com/view/loveucvpr21
- Abstract（参考訳）: 本稿では,ビデオ全体をチャンクに分割する一般的な分類のないイベント境界を検出するための新しいベンチマークとともに,新しいタスクを提案する。
時間的ビデオセグメンテーションとアクション検出における従来の作業は、事前定義されたアクションカテゴリのローカライズに重点を置いているため、汎用的なビデオにはスケールしない。
認知科学(Cognitive Science)は、人間が動画を意味のある時間的チャンクに連続的に分割することが昨年から知られている。
このセグメンテーションは自然に行われ、事前定義されたイベントカテゴリはなく、明示的に要求されない。
本稿では、これらの認知実験を主流のCVデータセット上で繰り返し、分類のないイベント境界アノテーションの複雑さに対処する新しいアノテーションガイドラインを用いて、ジェネリックイベント境界検出(GEBD)と新しいベンチマークKineetics-GEBDを導入する。
実験と人間の研究を通じて、アノテーションの価値を実証する。
これはビデオ全体を理解するための重要なステップであり、適切なタスク定義とアノテーションの欠如により、これまで無視されていたものだと考えています。
さらに、人間が未来を正確に予測できない地点で境界線をマークすることの認知的発見に触発され、時間的予測可能性に基づく教師なしアプローチを探求する。
TAPOS データセットと Kinetics-GEBD 上での GEBD モデルの重要な設計要因を特定し,検討し,競争性能の達成と今後の課題を提案する。
CVPR'21 LOVEU Challenge: https://sites.google.com/view/loveucvpr21
関連論文リスト
- Harnessing Temporal Causality for Advanced Temporal Action Detection [53.654457142657236]
本稿では,因果的注意と因果的マンバを組み合わせたCausalTADを提案する。
Ego4D Challenge 2024では,EPIC-Kitchens Challenge 2024では行動認識,行動検出,音声によるインタラクション検出トラックで1位,Ego4D Challenge 2024ではMoment Queriesトラックで1位にランクインした。
論文 参考訳（メタデータ） (2024-07-25T06:03:02Z) - Finding Meaning in Points: Weakly Supervised Semantic Segmentation for Event Cameras [45.063747874243276]
本稿では,イベントベースセマンティックセマンティックセグメンテーションのための新しい弱教師付きアプローチEV-WSSSを提案する。
提案フレームワークは,(1)前向きのイベントデータと(2)逆向きのイベントデータとの間に非対称な二重学習を行う。
提案手法は,画素レベルの高密度地下真実に頼らずとも,かなりのセグメンテーション結果が得られることを示す。
論文 参考訳（メタデータ） (2024-07-15T20:00:50Z) - Towards Video Anomaly Retrieval from Video Anomaly Detection: New
Benchmarks and Model [70.97446870672069]
ビデオ異常検出(VAD)はその潜在的な応用により注目されている。
Video Anomaly Retrieval (VAR)は、関連のある動画をモダリティによって実用的に検索することを目的としている。
一般的な異常データセットの上に構築されたUCFCrime-ARとXD-Violenceの2つのベンチマークを示す。
論文 参考訳（メタデータ） (2023-07-24T06:22:37Z) - TAEC: Unsupervised Action Segmentation with Temporal-Aware Embedding and
Clustering [27.52568444236988]
本稿では,教師なしの動画シーケンスからアクションクラスを学習するための教師なしアプローチを提案する。
特に,相対時間予測,特徴再構成,シーケンス・ツー・シーケンス学習を組み合わせた時間的埋め込みネットワークを提案する。
識別されたクラスタに基づいて、ビデオは意味論的に意味のあるアクションクラスに対応するコヒーレントな時間セグメントにデコードする。
論文 参考訳（メタデータ） (2023-03-09T10:46:23Z) - Generic Event Boundary Detection in Video with Pyramid Features [12.896848011230523]
ジェネリックイベントバウンダリ検出(GEBD)は、人間が自然にイベントバウンダリを知覚する幅広い多様なアクションセットで、ビデオをチャンクに分割することを目的としている。
本稿では,隣接するフレームとピラミッド特徴写像の空間次元と時間次元の相関を考察する。
論文 参考訳（メタデータ） (2023-01-11T03:29:27Z) - Video Action Detection: Analysing Limitations and Challenges [70.01260415234127]
ビデオ行動検出における既存のデータセットを分析し,その限界について議論する。
静的画像から映像を区別する重要な特性である時間的側面を解析するバイアスネススタディを実行する。
このような極端な実験は、注意深いモデリングを必要とする既存の手法に忍び込んだバイアスの存在を示している。
論文 参考訳（メタデータ） (2022-04-17T00:42:14Z) - SegTAD: Precise Temporal Action Detection via Semantic Segmentation [65.01826091117746]
意味的セグメンテーションの新しい視点で時間的行動検出のタスクを定式化する。
TADの1次元特性により、粗粒度検出アノテーションを細粒度セマンティックセマンティックアノテーションに無償で変換できる。
1Dセマンティックセグメンテーションネットワーク(1D-SSN)と提案検出ネットワーク(PDN)からなるエンドツーエンドフレームワークSegTADを提案する。
論文 参考訳（メタデータ） (2022-03-03T06:52:13Z) - Boundary-aware Self-supervised Learning for Video Scene Segmentation [20.713635723315527]
シーンセグメンテーション(英: Video scene segmentation)は、ビデオ内のシーン境界を時間的に局所化するタスクである。
本稿では,3つの境界対応プレテキストタスク,ショットシーンマッチング,コンテキストグループマッチング,擬似境界予測を紹介する。
我々はMovieNet-SSegベンチマークの最先端性を実現する。
論文 参考訳（メタデータ） (2022-01-14T02:14:07Z) - CoSeg: Cognitively Inspired Unsupervised Generic Event Segmentation [118.18977078626776]
イベントセグメンテーション/バウンダリ検出のためのエンドツーエンドの自己教師型学習フレームワークを提案する。
本フレームワークは, イベント境界を再構成誤差で検出するトランスフォーマーに基づく特徴再構成手法を利用する。
私たちの研究の目標は、特定のイベントをローカライズするのではなく、ジェネリックイベントをセグメント化することです。
論文 参考訳（メタデータ） (2021-09-30T14:40:32Z) - Winning the CVPR'2021 Kinetics-GEBD Challenge: Contrastive Learning
Approach [27.904987752334314]
本稿では,ジェネリックイベント境界検出タスクに対処するための,新しいコントラスト学習に基づくアプローチを提案する。
本モデルでは,時間的自己相似行列(TSM)を中間表現として利用し,情報ボトルネックとしての役割を担っている。
論文 参考訳（メタデータ） (2021-06-22T05:21:59Z) - STEP: Segmenting and Tracking Every Pixel [107.23184053133636]
新しいベンチマークを示す: Segmenting and Tracking Every Pixel (STEP)
私たちの仕事は、空間領域と時間領域の両方で密な解釈を必要とする現実世界の設定で、このタスクをターゲットとする最初のものです。
性能を測定するために,新しい評価指標と追跡品質(STQ)を提案する。
論文 参考訳（メタデータ） (2021-02-23T18:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。