論文の概要: Temporal Action Detection with Multi-level Supervision

• arxiv url: http://arxiv.org/abs/2011.11893v2
• Date: Thu, 18 Feb 2021 10:23:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 13:18:51.649194
• Title: Temporal Action Detection with Multi-level Supervision
• Title（参考訳）: 多レベル監視による時間的行動検出
• Authors: Baifeng Shi, Qi Dai, Judy Hoffman, Kate Saenko, Trevor Darrell, Huijuan Xu
• Abstract要約: 本稿では,ラベル付きデータとラベルなしデータを組み合わせたSemi-supervised Action Detection (SSAD)タスクを紹介する。 半教師付き分類タスクから直接適応したSSADベースラインの異なるタイプのエラーを解析する。 我々は,弱いラベル付きデータをSSADに組み込んで,3段階の監視レベルを持つOmni-supervised Action Detection (OSAD)を提案する。
• 参考スコア（独自算出の注目度）: 116.55596693897388
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training temporal action detection in videos requires large amounts of labeled data, yet such annotation is expensive to collect. Incorporating unlabeled or weakly-labeled data to train action detection model could help reduce annotation cost. In this work, we first introduce the Semi-supervised Action Detection (SSAD) task with a mixture of labeled and unlabeled data and analyze different types of errors in the proposed SSAD baselines which are directly adapted from the semi-supervised classification task. To alleviate the main error of action incompleteness (i.e., missing parts of actions) in SSAD baselines, we further design an unsupervised foreground attention (UFA) module utilizing the "independence" between foreground and background motion. Then we incorporate weakly-labeled data into SSAD and propose Omni-supervised Action Detection (OSAD) with three levels of supervision. An information bottleneck (IB) suppressing the scene information in non-action frames while preserving the action information is designed to help overcome the accompanying action-context confusion problem in OSAD baselines. We extensively benchmark against the baselines for SSAD and OSAD on our created data splits in THUMOS14 and ActivityNet1.2, and demonstrate the effectiveness of the proposed UFA and IB methods. Lastly, the benefit of our full OSAD-IB model under limited annotation budgets is shown by exploring the optimal annotation strategy for labeled, unlabeled and weakly-labeled data.
• Abstract（参考訳）: ビデオにおける時間的行動検出のトレーニングには大量のラベル付きデータが必要であるが、そのようなアノテーションの収集は高価である。 ラベルのない、あるいはラベルが弱いデータを組み込んだアクション検出モデルのトレーニングは、アノテーションコストの削減に役立つ。 本研究ではまず,ラベル付きデータとラベルなしデータの混合による半教師付き行動検出(SSAD)タスクを導入し,半教師付き分類タスクから直接適応した提案されたSSADベースラインの異なるタイプのエラーを解析する。 SSADベースラインにおける動作不完全性(つまり動作の欠如)の主な誤差を軽減するため,前景運動と背景運動の「独立性」を利用した教師なし前景注意(UFA)モジュールをさらに設計する。 次に、弱いラベル付きデータをSSADに組み込んで、3段階の監視レベルを持つOmni-supervised Action Detection (OSAD)を提案する。 アクション情報を保存しつつ、アクションフレーム内のシーン情報を抑圧する情報ボトルネック(IB)は、OSADベースラインにおけるアクションコンテキスト混同問題を克服するのに役立つように設計されている。 我々は、THUMOS14とActivityNet1.2で作成したデータ分割に基づいて、SSADとOSADのベースラインに対して広範囲にベンチマークを行い、提案手法の有効性を実証した。 最後に, ラベル付き, ラベルなし, 弱いラベル付きデータに対する最適アノテーション戦略を探索することにより, 限られたアノテーション予算下での全OSAD-IBモデルの利点を示す。

関連論文リスト

• Semi-supervised Open-World Object Detection [74.95267079505145]
  半教師付きオープンワールド検出(SS-OWOD)という,より現実的な定式化を導入する。 提案したSS-OWOD設定では,最先端OWOD検出器の性能が劇的に低下することが実証された。 我々は,MS COCO, PASCAL, Objects365, DOTAの4つのデータセットを用いた実験を行い, 提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-02-25T07:12:51Z)
• Open-Set Semi-Supervised Object Detection [43.464223594166654]
  近年,Semi-Supervised Object Detection (SSOD) の開発が進められている。 我々は、より実用的で難しい問題、OSSOD(Open-Set Semi-Supervised Object Detection)を考える。 提案フレームワークはセマンティック拡張問題に効果的に対処し,OSSODベンチマークにおける一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-08-29T17:04:30Z)
• SIOD: Single Instance Annotated Per Category Per Image for Object Detection [67.64774488115299]
  画像内の既存のカテゴリ毎に1つのインスタンスアノテーションのみを必要とする単一インスタンスアノテーションオブジェクト検出(SIOD)を提案する。 WSOD(Inter-task)やSSOD(Inter-image)の相違点からイメージ内の相違点に分解されたSIODは、ラベルなしインスタンスの残りをマイニングする上で、より信頼性が高く豊富な事前知識を提供する。 SIOD設定下では、類似性に基づく擬似ラベル生成モジュール(SPLG)と、Pixelレベルのグループコントラスト学習モジュール(PGCL)からなる、シンプルで効果的なフレームワークであるDual-Mining(DMiner)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T08:49:51Z)
• Data-Efficient and Interpretable Tabular Anomaly Detection [54.15249463477813]
  本稿では,ホワイトボックスモデルクラスである一般化付加モデルを適用し,異常を検出する新しいフレームワークを提案する。 さらに、提案フレームワークであるDIADは、ラベル付きデータの少量を組み込んで、半教師付き設定における異常検出性能をさらに向上させることができる。
  論文  参考訳（メタデータ） (2022-03-03T22:02:56Z)
• WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
  弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。 エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。 提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
  論文  参考訳（メタデータ） (2021-05-21T11:58:50Z)
• EHSOD: CAM-Guided End-to-end Hybrid-Supervised Object Detection with Cascade Refinement [53.69674636044927]
  本稿では,エンド・ツー・エンドのハイブリッド型オブジェクト検出システムであるEHSODについて述べる。 完全なアノテートと弱いアノテートの両方で、ワンショットでトレーニングすることができる。 完全なアノテートされたデータの30%しか持たない複数のオブジェクト検出ベンチマークで、同等の結果が得られる。
  論文  参考訳（メタデータ） (2020-02-18T08:04:58Z)
• Task-Aware Variational Adversarial Active Learning [42.334671410592065]
  本稿では,タスク非依存のVAALを修飾するタスク対応可変逆数AL(TA-VAAL)を提案する。 提案するTA-VAALは、バランスの取れたラベルとバランスの取れないラベルの分類のための様々なベンチマークデータセットにおいて、最先端の性能を向上する。
  論文  参考訳（メタデータ） (2020-02-11T22:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。