論文の概要: Temporal Action Proposal Generation with Background Constraint

• arxiv url: http://arxiv.org/abs/2112.07984v1
• Date: Wed, 15 Dec 2021 09:20:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-16 21:56:11.170014
• Title: Temporal Action Proposal Generation with Background Constraint
• Title（参考訳）: 背景制約を考慮した時間的行動提案生成
• Authors: Haosen Yang, Wenhao Wu, Lining Wang, Sheng Jin, Boyang Xia, Hongxun Yao, Hujie Huang
• Abstract要約: 時間的アクションプロポーザル生成(TAPG)は、時間的境界のある未トリミングビデオ中のアクションインスタンスを見つけることを目的とした課題である。 提案の信頼性を評価するため、既存の研究は、提案と根本真実の間の時間的相互統合(tIoU)によって監督される提案の行動スコアを予測するのが一般的である。 本稿では,低品質な提案をさらに抑制するための一般的な背景制約概念を革新的に提案する。
• 参考スコア（独自算出の注目度）: 25.783837570359267
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Temporal action proposal generation (TAPG) is a challenging task that aims to locate action instances in untrimmed videos with temporal boundaries. To evaluate the confidence of proposals, the existing works typically predict action score of proposals that are supervised by the temporal Intersection-over-Union (tIoU) between proposal and the ground-truth. In this paper, we innovatively propose a general auxiliary Background Constraint idea to further suppress low-quality proposals, by utilizing the background prediction score to restrict the confidence of proposals. In this way, the Background Constraint concept can be easily plug-and-played into existing TAPG methods (e.g., BMN, GTAD). From this perspective, we propose the Background Constraint Network (BCNet) to further take advantage of the rich information of action and background. Specifically, we introduce an Action-Background Interaction module for reliable confidence evaluation, which models the inconsistency between action and background by attention mechanisms at the frame and clip levels. Extensive experiments are conducted on two popular benchmarks, i.e., ActivityNet-1.3 and THUMOS14. The results demonstrate that our method outperforms state-of-the-art methods. Equipped with the existing action classifier, our method also achieves remarkable performance on the temporal action localization task.
• Abstract（参考訳）: 時間的アクション提案生成(TAPG)は、時間的境界のある未トリミングビデオ中のアクションインスタンスを見つけることを目的とした課題である。 提案の信頼性を評価するため、既存の研究は、提案と根本真実の間の時間的相互統合(tIoU)によって監督される提案の行動スコアを予測するのが一般的である。 本稿では,提案の信頼度を制限するために,背景予測スコアを活用し,低品質提案をさらに抑制するための汎用的補助的背景制約概念を提案する。 このように、バックグラウンド制約の概念は既存のTAPGメソッド(例えばBMN、GTAD)に簡単にプラグアンドプレイできる。 この観点から、アクションとバックグラウンドの豊富な情報を活用するために、bcnet(background constraint network)を提案する。 具体的には、フレームとクリップレベルでの注意機構により、アクションとバックグラウンドの整合性をモデル化する、信頼性評価のためのアクション-背景相互作用モジュールを提案する。 一般的なベンチマークである activitynet-1.3 と thumos14 で広範な実験が行われている。 その結果,本手法は最先端手法よりも優れていた。 本手法は,既存の行動分類器を備え,時間的行動局所化タスクにおいて顕著な性能を実現する。

関連論文リスト

• Adaptive Proposal Generation Network for Temporal Sentence Localization in Videos [58.83440885457272]
  ビデオ(TSLV)における時間文ローカライゼーションの問題に対処する。 従来のメソッドは、事前に定義されたセグメントの提案でターゲットセグメントをローカライズするトップダウンフレームワークに従っている。 本稿では,効率を向上しつつセグメントレベルの相互作用を維持するための適応提案生成ネットワーク(APGN)を提案する。
  論文  参考訳（メタデータ） (2021-09-14T02:02:36Z)
• Temporal Context Aggregation Network for Temporal Action Proposal Refinement [93.03730692520999]
  時間的行動提案生成はビデオ理解分野において難しいが重要な課題である。 現在の方法はまだ不正確な時間境界と検索に使用される劣った自信に苦しんでいます。 TCANet は、「ローカルおよびグローバル」な時間的コンテキストアグリゲーションを通じて、高品質のアクション提案を生成するために提案します。
  論文  参考訳（メタデータ） (2021-03-24T12:34:49Z)
• Point-Level Temporal Action Localization: Bridging Fully-supervised Proposals to Weakly-supervised Losses [84.2964408497058]
  point-level temporal action localization (ptal) は、各アクションインスタンスに対して1つのタイムスタンプアノテーションで、未トリミングビデオ内のアクションをローカライズすることを目的としている。 既存の手法ではフレームレベルの予測パラダイムを採用し、スパース単一フレームラベルから学習する。 本稿では,ポイントレベルアノテーションの提案に基づく予測パラダイムを検討する。
  論文  参考訳（メタデータ） (2020-12-15T12:11:48Z)
• Two-Stream Consensus Network for Weakly-Supervised Temporal Action Localization [94.37084866660238]
  本稿では,これらの課題を同時に解決するためのTwo-Stream Consensus Network(TSCN)を提案する。 提案したTSCNは,フレームレベルの疑似地上真実を反復的に更新する反復的精錬訓練手法を特徴とする。 本稿では,2進選択のように振る舞うように注意を喚起し,アクションインスタンス境界の正確な局所化を促進するために,新たな注意正規化損失を提案する。
  論文  参考訳（メタデータ） (2020-10-22T10:53:32Z)
• BSN++: Complementary Boundary Regressor with Scale-Balanced Relation Modeling for Temporal Action Proposal Generation [85.13713217986738]
  我々は,時間的提案生成のための補完的境界回帰器と関係モデリングを利用する新しいフレームワークであるBSN++を提案する。 当然のことながら、提案されたBSN++は、時間的アクションローカライゼーションタスクに関するCVPR19 - ActivityNetのリーダーボードで1位にランクインした。
  論文  参考訳（メタデータ） (2020-09-15T07:08:59Z)
• Complementary Boundary Generator with Scale-Invariant Relation Modeling for Temporal Action Localization: Submission to ActivityNet Challenge 2020 [66.4527310659592]
  本報告では,ActivityNet Challenge 2020 Task 1への提出時に使用したソリューションの概要を紹介する。 時間的行動ローカライゼーションタスクを2段階(すなわち提案生成と分類)に分離し,提案の多様性を高める。 提案手法は,課題テストセット上での平均mAPを用いて,時間的動作の局所化タスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-20T04:35:40Z)
• Accurate Temporal Action Proposal Generation with Relation-Aware Pyramid Network [29.7640925776191]
  高精度な時間的行動提案を生成するための関係対応ピラミッドネットワーク(RapNet)を提案する。 RapNetでは、コンテキスト蒸留のための局所的な特徴間の双方向の長距離関係を利用するために、新しいリレーションアウェアモジュールが導入された。
  論文  参考訳（メタデータ） (2020-03-09T13:47:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。