論文の概要: Boundary-sensitive Pre-training for Temporal Localization in Videos

• arxiv url: http://arxiv.org/abs/2011.10830v3
• Date: Fri, 26 Mar 2021 11:01:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 23:23:26.760312
• Title: Boundary-sensitive Pre-training for Temporal Localization in Videos
• Title（参考訳）: ビデオにおける時間的局所化のための境界感性事前学習
• Authors: Mengmeng Xu, Juan-Manuel Perez-Rua, Victor Escorcia, Brais Martinez, Xiatian Zhu, Li Zhang, Bernard Ghanem, Tao Xiang
• Abstract要約: 本稿では,時間的局所化のためのモデル事前学習について,新しい境界感性プレテキスト(BSP)タスクを導入して検討する。 合成された境界により、BSPは境界型を分類することで簡単に実行できる。 大規模な実験により、提案したBSPは既存の行動分類に基づく事前学習法よりも優れ、相補的であることが示された。
• 参考スコア（独自算出の注目度）: 124.40788524169668
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many video analysis tasks require temporal localization thus detection of content changes. However, most existing models developed for these tasks are pre-trained on general video action classification tasks. This is because large scale annotation of temporal boundaries in untrimmed videos is expensive. Therefore no suitable datasets exist for temporal boundary-sensitive pre-training. In this paper for the first time, we investigate model pre-training for temporal localization by introducing a novel boundary-sensitive pretext (BSP) task. Instead of relying on costly manual annotations of temporal boundaries, we propose to synthesize temporal boundaries in existing video action classification datasets. With the synthesized boundaries, BSP can be simply conducted via classifying the boundary types. This enables the learning of video representations that are much more transferable to downstream temporal localization tasks. Extensive experiments show that the proposed BSP is superior and complementary to the existing action classification based pre-training counterpart, and achieves new state-of-the-art performance on several temporal localization tasks.
• Abstract（参考訳）: 多くのビデオ解析タスクは時間的局所化を必要とするため、コンテンツの変化を検出する。 しかし、これらのタスクのために開発された既存のモデルのほとんどは、一般的なビデオアクション分類タスクで事前訓練されている。 これは、未トリミングビデオの時間的境界の大規模な注釈が高価であるからである。 したがって、時間的境界に敏感な事前学習に適したデータセットは存在しない。 本稿では,新しい境界感性プレテキスト(BSP)タスクを導入することで,時間的局所化のためのモデル事前学習について検討する。 時間的境界のコストのかかる手動アノテーションに頼る代わりに、既存のビデオアクション分類データセットで時間的境界を合成することを提案する。 合成された境界により、BSPは境界型を分類することで簡単に実行できる。 これにより、下流の時間的ローカライゼーションタスクに転送可能なビデオ表現の学習が可能になる。 広汎な実験により,提案したBSPは,既存の行動分類に基づく事前訓練と相補的であり,時間的局所化タスクにおける新たな最先端性能を実現することが示された。

関連論文リスト

• Temporal Action Localization with Enhanced Instant Discriminability [66.76095239972094]
  時間的行動検出(TAD)は、すべての行動境界とその対応するカテゴリを、トリミングされていないビデオで検出することを目的としている。 本稿では,既存の手法による動作境界の不正確な予測を解決するために,TriDetという一段階のフレームワークを提案する。 実験結果から,複数のTADデータセット上でのTriDetの堅牢性と最先端性能が示された。
  論文  参考訳（メタデータ） (2023-09-11T16:17:50Z)
• Video Activity Localisation with Uncertainties in Temporal Boundary [74.7263952414899]
  時間とともにビデオ活動のローカライゼーションを行う方法は、時間的境界が決定され正確であると暗黙的に仮定する。 無記述の自然ビデオでは、異なるアクティビティがスムーズに移動するため、アクティビティの開始と終了が時間とともに正確にラベル付けされることは本質的に曖昧である。 フレキシブルかつ適応的な活動時間境界に対応するための弾性モーメントバウンディング(EMB)を導入する。
  論文  参考訳（メタデータ） (2022-06-26T16:45:56Z)
• Contrastive Language-Action Pre-training for Temporal Localization [64.34349213254312]
  ロングフォームビデオ理解には、時間的に活動や言語をローカライズできるアプローチが必要である。 これらの制限は、クラスアノテーションによって管理される時間的にトリミングされたビデオの大きなデータセットを事前トレーニングすることで対処できる。 本研究では,アクセプションの形で活動,背景ビデオクリップ,言語間の視覚・言語的関係を捉えるために,マスク付きコントラスト学習損失を導入する。
  論文  参考訳（メタデータ） (2022-04-26T13:17:50Z)
• Unsupervised Pre-training for Temporal Action Localization Tasks [76.01985780118422]
  本稿では、Pseudo Action Localization (PAL) と呼ばれる自己教師付きプレテキストタスクを、時間的アクションローカライゼーションタスク(UP-TAL)のための教師なし事前訓練機能エンコーダに提案する。 具体的には、まず1つのビデオから複数のクリップを含む時間領域をランダムに選択し、他の2つのビデオの異なる時間的位置に貼り付ける。 前提課題は、2つの合成ビデオからペーストした擬似行動領域の特徴を調整し、両者の合意を最大化することである。
  論文  参考訳（メタデータ） (2022-03-25T12:13:43Z)
• Transferable Knowledge-Based Multi-Granularity Aggregation Network for Temporal Action Localization: Submission to ActivityNet Challenge 2021 [33.840281113206444]
  本報告では,2021 HACS 時空間行動ローカライゼーションチャレンジの提出に使用したソリューションの概要について述べる。 我々は、TCANet(Temporal Context Aggregation Network)を用いて、高品質なアクション提案を生成する。 また、トリミングされたビデオから未トリミングされたビデオに知識を移すための追加モジュールも採用しています。 提案手法は, 教師付きおよび弱教師付き時間的行動局所化トラックを用いて, 39.91 と 29.78 の平均 mAP をそれぞれ達成する。
  論文  参考訳（メタデータ） (2021-07-27T06:18:21Z)
• SRF-Net: Selective Receptive Field Network for Anchor-Free Temporal Action Detection [32.159784061961886]
  時間的行動検出(TAD: Temporal Action Detection)は、ビデオ中の人間の行動の時間的局所化と認識を目的とした課題である。 現在の主流のワンステージTADは、事前に定義されたアンカーに依存するアクション提案をローカライズし、分類する。 SRF-Net(Selective Receptive Field Network)と呼ばれる新しいTADモデルを開発した。
  論文  参考訳（メタデータ） (2021-06-29T11:29:16Z)
• MS-TCN++: Multi-Stage Temporal Convolutional Network for Action Segmentation [87.16030562892537]
  本稿では,時間的行動分割タスクのための多段階アーキテクチャを提案する。 第1段階は、次の段階によって洗練される初期予測を生成する。 我々のモデルは3つのデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-06-16T14:50:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。