論文の概要: Adaptive Mutual Supervision for Weakly-Supervised Temporal Action Localization

• arxiv url: http://arxiv.org/abs/2104.02357v1
• Date: Tue, 6 Apr 2021 08:31:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 14:24:03.296145
• Title: Adaptive Mutual Supervision for Weakly-Supervised Temporal Action Localization
• Title（参考訳）: 弱い時間的行動局在に対する適応的相互スーパービジョン
• Authors: Chen Ju, Peisen Zhao, Siheng Chen, Ya Zhang, Xiaoyun Zhang, Qi Tian
• Abstract要約: 時間的行動ローカライゼーションのための適応的相互監視フレームワーク(AMS)を導入する。 提案手法は最先端手法を著しく上回っている。
• 参考スコア（独自算出の注目度）: 92.96802448718388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weakly-supervised temporal action localization aims to localize actions in untrimmed videos with only video-level action category labels. Most of previous methods ignore the incompleteness issue of Class Activation Sequences (CAS), suffering from trivial localization results. To solve this issue, we introduce an adaptive mutual supervision framework (AMS) with two branches, where the base branch adopts CAS to localize the most discriminative action regions, while the supplementary branch localizes the less discriminative action regions through a novel adaptive sampler. The adaptive sampler dynamically updates the input of the supplementary branch with a sampling weight sequence negatively correlated with the CAS from the base branch, thereby prompting the supplementary branch to localize the action regions underestimated by the base branch. To promote mutual enhancement between these two branches, we construct mutual location supervision. Each branch leverages location pseudo-labels generated from the other branch as localization supervision. By alternately optimizing the two branches in multiple iterations, we progressively complete action regions. Extensive experiments on THUMOS14 and ActivityNet1.2 demonstrate that the proposed AMS method significantly outperforms the state-of-the-art methods.
• Abstract（参考訳）: 弱教師付き時間的アクションローカライゼーションは、ビデオレベルのアクションカテゴリラベルだけで、未トリミングビデオ中のアクションをローカライズすることを目的としている。 従来の手法のほとんどは、簡単な局所化結果に苦しむクラスアクティベーションシーケンス(CAS)の不完全性問題を無視している。 そこで本研究では,基本分枝がcasを採用し,最も識別的行動領域を局在化するとともに,補助分枝が新しい適応的サンプリング器を用いて識別的行動領域を局在化する2つの分枝からなる適応的相互監督フレームワーク(ams)を提案する。 適応サンプリング器は、ベースブランチからCASと負に相関したサンプリング重みシーケンスで補助ブランチの入力を動的に更新し、補助ブランチにベースブランチで過小評価された動作領域をローカライズさせる。 これら2つの分枝間の相互強化を促進するために,相互に位置監視を行う。 各ブランチは、他のブランチから生成されたロケーション擬似ラベルをローカライズ監督として利用する。 複数の繰り返しで2つの枝を交互に最適化することで、段階的に作用領域を完成させる。 THUMOS14とActivityNet1.2の大規模な実験により、提案手法は最先端の手法よりも大幅に優れていることが示された。

関連論文リスト

• ADM-Loc: Actionness Distribution Modeling for Point-supervised Temporal Action Localization [31.314383098734922]
  本稿では,1つのアクションインスタンスにアノテートされた1フレームのみをトレーニングセットにアノテートする点教師付き時間的行動検出の課題に対処する。 ADM-Loc(ADM-Loc)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-27T15:24:54Z)
• Distilling Vision-Language Pre-training to Collaborate with Weakly-Supervised Temporal Action Localization [77.19173283023012]
  微弱に監督された時間的アクションローカライゼーションは、カテゴリラベルのみによるアクションインスタンスの検出と分類を学ぶ。 ほとんどの方法は、アクションローカライゼーションのためのビデオ特徴を生成するために、オフザシェルフ分類ベース事前訓練(CBP)を広く採用している。
  論文  参考訳（メタデータ） (2022-12-19T10:02:50Z)
• Estimation of Reliable Proposal Quality for Temporal Action Detection [71.5989469643732]
  提案手法では,時間的視点と地域的視点を同時に把握し,信頼性の高い提案品質を取得することによって2つの課題を整合させる手法を提案する。 バウンダリ評価モジュール (BEM) は, 境界品質を推定するために, 局所的な外観と動きの進化に焦点を当てた設計である。 地域の観点からは,提案する特徴表現に対して,新しい効率的なサンプリング手法を用いた領域評価モジュール(REM)を導入する。
  論文  参考訳（メタデータ） (2022-04-25T14:33:49Z)
• Fine-grained Temporal Contrastive Learning for Weakly-supervised Temporal Action Localization [87.47977407022492]
  本稿では,シーケンス・ツー・シーケンスの区別を文脈的に比較することで学習が,弱い教師付き行動の局所化に不可欠な帰納的バイアスをもたらすことを論じる。 微分可能な動的プログラミングの定式化の下では、FSD(Fen-fine Sequence Distance)とLCS(Longest Common Subsequence)の2つの相補的コントラストが設計されている。 提案手法は,2つのベンチマークにおいて最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-31T05:13:50Z)
• Domain Adaptive Semantic Segmentation with Regional Contrastive Consistency Regularization [19.279884432843822]
  本稿では,領域適応型セマンティックセマンティックセグメンテーションのための局所コントラスト整合正規化(RCCR)と呼ばれる,新しいエンドツーエンドのトレーニング可能なアプローチを提案する。 私たちの中核となる考え方は、異なる画像の同じ位置から抽出された類似の地域的特徴を取り除き、その一方、2つの画像の異なる位置から特徴を分離することです。
  論文  参考訳（メタデータ） (2021-10-11T11:45:00Z)
• Foreground-Action Consistency Network for Weakly Supervised Temporal Action Localization [66.66545680550782]
  本稿では、FAC-Netというフレームワークを3つのブランチに付加し、クラスワイドフォアグラウンド分類ブランチ、クラス非依存アテンションブランチ、複数インスタンス学習ブランチを提案する。 まず, クラスワイド前景分類部は, 前景の分離を最大化するために, 行動と前景の関係を正規化する。 さらに、クラスに依存しないアテンションブランチと複数のインスタンス学習ブランチが採用され、フォアグラウンドの一貫性を規則化し、意味のあるフォアグラウンドを学ぶのに役立つ。
  論文  参考訳（メタデータ） (2021-08-14T12:34:44Z)
• Action Shuffling for Weakly Supervised Temporal Localization [22.43209053892713]
  本稿では,行動の秩序感応性と位置感応性を解析する。 それらを自己拡張学習フレームワークに具体化し、弱教師付きアクションローカライゼーション性能を改善する。
  論文  参考訳（メタデータ） (2021-05-10T09:05:58Z)
• Two-Stream Consensus Network for Weakly-Supervised Temporal Action Localization [94.37084866660238]
  本稿では,これらの課題を同時に解決するためのTwo-Stream Consensus Network(TSCN)を提案する。 提案したTSCNは,フレームレベルの疑似地上真実を反復的に更新する反復的精錬訓練手法を特徴とする。 本稿では,2進選択のように振る舞うように注意を喚起し,アクションインスタンス境界の正確な局所化を促進するために,新たな注意正規化損失を提案する。
  論文  参考訳（メタデータ） (2020-10-22T10:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。