論文の概要: Improving Weakly Supervised Temporal Action Localization by Bridging Train-Test Gap in Pseudo Labels

• arxiv url: http://arxiv.org/abs/2304.07978v1
• Date: Mon, 17 Apr 2023 03:47:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 16:22:42.300133
• Title: Improving Weakly Supervised Temporal Action Localization by Bridging Train-Test Gap in Pseudo Labels
• Title（参考訳）: 擬似ラベルにおける列車試験ギャップのブリッジによる微妙な時間的行動局在の改善
• Authors: Jingqiu Zhou, Linjiang Huang, Liang Wang, Si Liu, Hongsheng Li
• Abstract要約: 効果的な解法として機能する擬似ラベル法は近年広く研究されている。 既存の方法は、トレーニング中に擬似ラベルを生成し、異なるパイプラインや設定下でのテスト中に予測する。 予測動作境界から高品質な擬似ラベルを生成することを提案する。
• 参考スコア（独自算出の注目度）: 38.35756338815097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The task of weakly supervised temporal action localization targets at generating temporal boundaries for actions of interest, meanwhile the action category should also be classified. Pseudo-label-based methods, which serve as an effective solution, have been widely studied recently. However, existing methods generate pseudo labels during training and make predictions during testing under different pipelines or settings, resulting in a gap between training and testing. In this paper, we propose to generate high-quality pseudo labels from the predicted action boundaries. Nevertheless, we note that existing post-processing, like NMS, would lead to information loss, which is insufficient to generate high-quality action boundaries. More importantly, transforming action boundaries into pseudo labels is quite challenging, since the predicted action instances are generally overlapped and have different confidence scores. Besides, the generated pseudo-labels can be fluctuating and inaccurate at the early stage of training. It might repeatedly strengthen the false predictions if there is no mechanism to conduct self-correction. To tackle these issues, we come up with an effective pipeline for learning better pseudo labels. Firstly, we propose a Gaussian weighted fusion module to preserve information of action instances and obtain high-quality action boundaries. Second, we formulate the pseudo-label generation as an optimization problem under the constraints in terms of the confidence scores of action instances. Finally, we introduce the idea of $\Delta$ pseudo labels, which enables the model with the ability of self-correction. Our method achieves superior performance to existing methods on two benchmarks, THUMOS14 and ActivityNet1.3, achieving gains of 1.9\% on THUMOS14 and 3.7\% on ActivityNet1.3 in terms of average mAP.
• Abstract（参考訳）: 利害行為の時間的境界を生じるような時間的行動ローカライゼーションターゲットの弱い監督のタスクは、アクションカテゴリも分類されるべきである。 効果的な解法としての擬似ラベル法が近年広く研究されている。 しかし、既存のメソッドはトレーニング中に擬似ラベルを生成し、異なるパイプラインや設定下でテスト中に予測を行い、トレーニングとテストの間にギャップが生じる。 本稿では,予測動作境界から高品質な擬似ラベルを生成することを提案する。 それでも、NMSのような既存の後処理は、情報損失を招き、高品質な動作境界を生成するには不十分である。 さらに重要なのは、予測されたアクションインスタンスが一般的に重複し、異なる信頼スコアを持つため、アクション境界を擬似ラベルに変換することが非常に難しいことです。 また、生成した擬似ラベルは、トレーニングの初期段階で変動し、不正確なものとなる。 自己修正を行うメカニズムがなければ、誤った予測を繰り返し強化する可能性がある。 これらの問題に取り組むために、より良い擬似ラベルを学ぶ効果的なパイプラインを考えました。 まず,アクションインスタンスの情報を保持し,高品質な動作境界を得るためのガウス加重融合モジュールを提案する。 第2に、動作インスタンスの信頼性スコアの制約の下で、擬似ラベル生成を最適化問題として定式化する。 最後に、自己補正機能を備えたモデルを実現するために、$\Delta$ pseudo labelsというアイデアを導入する。 本手法は,THUMOS14 と ActivityNet1.3 の2つのベンチマークにおいて既存の手法よりも優れた性能を示し,平均 mAP では THUMOS14 が 1.9 %,ActivityNet1.3 が 3.7 % となった。

関連論文リスト

• Towards Adaptive Pseudo-label Learning for Semi-Supervised Temporal Action Localization [10.233225586034665]
  既存の手法はしばしば厳密な条件に基づいて擬似ラベルをフィルタリングし、最適でない擬似ラベルのランク付けと選択につながる。 擬似ラベル選択を容易にするための適応擬似ラベル学習フレームワークを提案する。 本手法は,各種半教師付き環境下での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-10T14:00:19Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised Video Anomaly Detection [149.23913018423022]
  弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。 2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。 本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:53:53Z)
• Label, Verify, Correct: A Simple Few Shot Object Detection Method [93.84801062680786]
  トレーニングセットから高品質な擬似アノテーションを抽出するための簡単な擬似ラベリング手法を提案する。 擬似ラベリングプロセスの精度を向上させるための2つの新しい手法を提案する。 提案手法は,既存手法と比較して,最先端ないし第2の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-10T18:59:06Z)
• Learning Action Completeness from Points for Weakly-supervised Temporal Action Localization [15.603643098270409]
  本研究では,各アクションインスタンスに1フレームのラベルを付けるだけで,時間間隔の動作をローカライズする問題に対処する。 本稿では,モデルに対する完全性ガイダンスを提供するために,高密度な擬似ラベルを生成する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-11T04:54:39Z)
• Rethinking Pseudo Labels for Semi-Supervised Object Detection [84.697097472401]
  物体検出に適した確実な擬似ラベルを導入する。 我々は,クラス不均衡問題を緩和するために,各カテゴリの擬似ラベルと再重み付き損失関数を生成するために使用する閾値を動的に調整する。 提案手法では,COCOのラベル付きデータのみを用いて,教師付きベースラインを最大10%改善する。
  論文  参考訳（メタデータ） (2021-06-01T01:32:03Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。