論文の概要: Submission to Generic Event Boundary Detection Challenge@CVPR 2022:
Local Context Modeling and Global Boundary Decoding Approach
- arxiv url: http://arxiv.org/abs/2206.15268v1
- Date: Thu, 30 Jun 2022 13:19:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-01 14:44:09.324648
- Title: Submission to Generic Event Boundary Detection Challenge@CVPR 2022:
Local Context Modeling and Global Boundary Decoding Approach
- Title(参考訳): ジェネリックイベント境界検出チャレンジ@CVPR 2022:ローカルコンテキストモデリングとグローバル境界デコードアプローチ
- Authors: Jiaqi Tang, Zhaoyang Liu, Jing Tan, Chen Qian, Wayne Wu, Limin Wang
- Abstract要約: ジェネリックイベント境界検出(GEBD)はビデオ理解において重要な課題である。
GEBDタスクに対する局所コンテキストモデリングと大域境界復号化手法を提案する。
- 参考スコア(独自算出の注目度): 46.97359231258202
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generic event boundary detection (GEBD) is an important yet challenging task
in video understanding, which aims at detecting the moments where humans
naturally perceive event boundaries. In this paper, we present a local context
modeling and global boundary decoding approach for GEBD task. Local context
modeling sub-network is proposed to perceive diverse patterns of generic event
boundaries, and it generates powerful video representations and reliable
boundary confidence. Based on them, global boundary decoding sub-network is
exploited to decode event boundaries from a global view. Our proposed method
achieves 85.13% F1-score on Kinetics-GEBD testing set, which achieves a more
than 22% F1-score boost compared to the baseline method. The code is available
at https://github.com/JackyTown/GEBD_Challenge_CVPR2022.
- Abstract(参考訳): ジェネリックイベント境界検出(GEBD)は、人間が自然にイベント境界を知覚する瞬間を検出することを目的として、ビデオ理解において重要な課題である。
本稿では,GEBDタスクに対する局所コンテキストモデリングとグローバル境界復号化手法を提案する。
局所的コンテキストモデリングサブネットワークは、汎用イベント境界の多様なパターンを知覚し、強力なビデオ表現と信頼性のある境界信頼を生成する。
これらに基づいて、グローバル境界デコードサブネットワークを利用して、グローバルビューからイベント境界をデコードする。
提案手法は,Kinetics-GEBDテストセット上で85.13%のF1スコアを達成し,ベースライン法と比較して22%以上のF1スコアアップを達成する。
コードはhttps://github.com/JackyTown/GEBD_Challenge_CVPR2022で公開されている。
関連論文リスト
- Fine-grained Dynamic Network for Generic Event Boundary Detection [9.17191007695011]
そこで我々は,DyBDetという汎用イベント境界のための新しい動的パイプラインを提案する。
マルチエグジットネットワークアーキテクチャを導入することで、DyBDetは、異なるビデオスニペットへのアロケーションを自動的に学習する。
Kinetics-GEBD と TAPOS のデータセットに挑戦する実験では、動的戦略の採用が GEBD タスクに大きく貢献することを示した。
論文 参考訳(メタデータ) (2024-07-05T06:02:46Z) - Temporal Action Localization with Enhanced Instant Discriminability [66.76095239972094]
時間的行動検出(TAD)は、すべての行動境界とその対応するカテゴリを、トリミングされていないビデオで検出することを目的としている。
本稿では,既存の手法による動作境界の不正確な予測を解決するために,TriDetという一段階のフレームワークを提案する。
実験結果から,複数のTADデータセット上でのTriDetの堅牢性と最先端性能が示された。
論文 参考訳(メタデータ) (2023-09-11T16:17:50Z) - Exploiting Context Information for Generic Event Boundary Captioning [51.53874954616367]
ジェネリックイベント境界キャプション(GEBC)は、与えられた時間境界の状態変化を記述する3つの文を生成することを目的としている。
この問題に対処するために、ビデオ全体を直接入力とし、すべての境界に対するキャプションを並列に生成するモデルを設計する。
論文 参考訳(メタデータ) (2022-07-03T14:14:54Z) - Masked Autoencoders for Generic Event Boundary Detection CVPR'2022
Kinetics-GEBD Challenge [11.823891739821443]
ジェネリックイベント境界検出(GEBD)タスクは、ビデオ全体をチャンクに分割する、ジェネリックで分類のないイベント境界を検出することを目的としている。
本稿では,GABDタスクにおけるアルゴリズム性能向上のためにMasked Autoencodersを適用した。
我々のアプローチでは、2021年のキネティクス-GEBDチャレンジの勝者と比較してF1スコアを2.31%改善したKinetics-GEBDテストセットのF1スコアで85.94%を達成した。
論文 参考訳(メタデータ) (2022-06-17T08:10:27Z) - Temporal Perceiver: A General Architecture for Arbitrary Boundary
Detection [48.33132632418303]
ジェネリック境界検出(GBD)は、動画をセマンティック・コヒーレントと分類なしの単位に分割する一般的な境界を特定することを目的としている。
従来の研究では、単純なCNNからLSTMまでの複雑なディープネットワークの設計で、これらの異なるレベルの汎用境界を別々に扱っていた。
本稿では,Transformer を用いた汎用アーキテクチャである Temporal Perceiver について述べる。
論文 参考訳(メタデータ) (2022-03-01T09:31:30Z) - UBoCo : Unsupervised Boundary Contrastive Learning for Generic Event
Boundary Detection [27.29169136392871]
ジェネリックイベント境界検出(GEBD)は、イベントのより深いセマンティック境界を見つけることを目的としている。
本稿では,時間的自己相似行列(TSM)を映像表現として,教師なし・教師なしのEBDのための新しいフレームワークを提案する。
我々のフレームワークは、教師なしと教師なしの両方に応用でき、最先端のパフォーマンスを大きなマージンで達成できる。
論文 参考訳(メタデータ) (2021-11-29T18:50:39Z) - Global Aggregation then Local Distribution for Scene Parsing [99.1095068574454]
提案手法は,エンドツーエンドのトレーニング可能なブロックとしてモジュール化され,既存のセマンティックセグメンテーションネットワークに容易に接続可能であることを示す。
私たちのアプローチでは、Cityscapes、ADE20K、Pascal Context、Camvid、COCO-stuffといった主要なセマンティックセグメンテーションベンチマークに基づいて、新しい最先端の技術を構築できます。
論文 参考訳(メタデータ) (2021-07-28T03:46:57Z) - Winning the CVPR'2021 Kinetics-GEBD Challenge: Contrastive Learning
Approach [27.904987752334314]
本稿では,ジェネリックイベント境界検出タスクに対処するための,新しいコントラスト学習に基づくアプローチを提案する。
本モデルでは,時間的自己相似行列(TSM)を中間表現として利用し,情報ボトルネックとしての役割を担っている。
論文 参考訳(メタデータ) (2021-06-22T05:21:59Z) - The Devil is in the Boundary: Exploiting Boundary Representation for
Basis-based Instance Segmentation [85.153426159438]
本研究では,既存のグローバルマスクベースの手法を補完するグローバル境界表現を学習するために,Basisベースのインスタンス(B2Inst)を提案する。
私たちのB2Instは一貫した改善をもたらし、シーン内のインスタンス境界を正確に解析します。
論文 参考訳(メタデータ) (2020-11-26T11:26:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。