論文の概要: Sub-action Prototype Learning for Point-level Weakly-supervised Temporal Action Localization

• arxiv url: http://arxiv.org/abs/2309.09060v1
• Date: Sat, 16 Sep 2023 17:57:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 17:44:17.849370
• Title: Sub-action Prototype Learning for Point-level Weakly-supervised Temporal Action Localization
• Title（参考訳）: 点レベル弱教師付き時間行動定位のためのサブアクションプロトタイプ学習
• Authors: Yueyang Li, Yonghong Hou, Wanqing Li
• Abstract要約: PWTAL(Point-level weak-supervised temporal action Localization)は、アクションインスタンスごとに単一のタイムスタンプアノテーションでアクションをローカライズすることを目的としている。 既存の手法では、ラベルの空間性を緩和するために密度の高い擬似ラベルをマイニングする傾向があるが、潜在的サブアクションの時間構造を見落とし、性能が劣る。 サブアクションプロトタイプクラスタリング(SPC)と順序付きプロトタイプアライメント(OPA)を組み合わせた新しいサブアクションプロトタイプ学習フレームワーク(SPL-Loc)を提案する。
• 参考スコア（独自算出の注目度）: 11.777205793663647
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Point-level weakly-supervised temporal action localization (PWTAL) aims to localize actions with only a single timestamp annotation for each action instance. Existing methods tend to mine dense pseudo labels to alleviate the label sparsity, but overlook the potential sub-action temporal structures, resulting in inferior performance. To tackle this problem, we propose a novel sub-action prototype learning framework (SPL-Loc) which comprises Sub-action Prototype Clustering (SPC) and Ordered Prototype Alignment (OPA). SPC adaptively extracts representative sub-action prototypes which are capable to perceive the temporal scale and spatial content variation of action instances. OPA selects relevant prototypes to provide completeness clue for pseudo label generation by applying a temporal alignment loss. As a result, pseudo labels are derived from alignment results to improve action boundary prediction. Extensive experiments on three popular benchmarks demonstrate that the proposed SPL-Loc significantly outperforms existing SOTA PWTAL methods.
• Abstract（参考訳）: PWTAL(Point-level weak-supervised temporal action Localization)は、アクションインスタンスごとに単一のタイムスタンプアノテーションでアクションをローカライズすることを目的としている。 既存の手法では、ラベルの空間性を緩和するために密度の高い擬似ラベルをマイニングする傾向があるが、潜在的サブアクション時間構造を見落とし、性能が劣る。 そこで本研究では,サブアクションプロトタイプクラスタリング (spc) と順序付きプロトタイプアライメント (opa) を組み合わせたサブアクションプロトタイプ学習フレームワーク (spl-loc) を提案する。 SPCは、アクションインスタンスの時間スケールと空間内容の変化を知覚できる代表的サブアクションプロトタイプを適応的に抽出する。 OPAは関連するプロトタイプを選択し、時間的アライメントロスを適用して擬似ラベル生成の完全性を示す。 その結果、アライメント結果から擬似ラベルが導出され、動作境界予測が向上する。 3つの人気のあるベンチマークの大規模な実験により、提案されたSPL-Locは既存のSOTA PWTAL法よりも大幅に優れていることが示された。

関連論文リスト

• Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
  テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。 1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。 本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。 本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T03:33:39Z)
• POTLoc: Pseudo-Label Oriented Transformer for Point-Supervised Temporal Action Localization [26.506893363676678]
  本稿ではPseudo-label Oriented Transformerを提案する。 POTLocは、自己学習戦略を通じて、継続的なアクション構造を特定し、追跡するように設計されている。 THUMOS'14とActivityNet-v1.2データセットでは、最先端のポイント管理手法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-20T15:28:06Z)
• Proposal-based Temporal Action Localization with Point-level Supervision [29.98225940694062]
  ポイントレベルの時間的行動ローカライゼーション(PTAL)は、未トリミングビデオにおけるアクションの認識とローカライズを目的としている。 そこで本研究では,フレキシブル期間のアクション提案を生成し,評価することで,アクションをローカライズする手法を提案する。 実験の結果,提案手法は最先端手法の競争力や性能に優れることがわかった。
  論文  参考訳（メタデータ） (2023-10-09T08:27:05Z)
• Multi-modal Prompting for Low-Shot Temporal Action Localization [95.19505874963751]
  低ショット(ゼロショット・少数ショット)シナリオ下での時間的行動局所化の問題点を考察する。 クラスに依存しない2段階のアクションローカライズアーキテクチャをTransformerに導入し,その後にオープン語彙分類を行った。
  論文  参考訳（メタデータ） (2023-03-21T10:40:13Z)
• Zero-Shot Temporal Action Detection via Vision-Language Prompting [134.26292288193298]
  視覚言語プロンプト(STALE)を用いた新しいゼロショット時間行動検出モデルを提案する。 我々のモデルは最先端の代替品を著しく上回っている。 我々のモデルは、近年の強力な競合相手よりも監督的TADにおいて優れた結果をもたらす。
  論文  参考訳（メタデータ） (2022-07-17T13:59:46Z)
• Semi-Supervised Temporal Action Detection with Proposal-Free Masking [134.26292288193298]
  PropOsal-free Temporal mask (SPOT) に基づく新しい半教師付き時間行動検出モデルを提案する。 SPOTは最先端の代替品よりも優れている。
  論文  参考訳（メタデータ） (2022-07-14T16:58:47Z)
• Point-Level Temporal Action Localization: Bridging Fully-supervised Proposals to Weakly-supervised Losses [84.2964408497058]
  point-level temporal action localization (ptal) は、各アクションインスタンスに対して1つのタイムスタンプアノテーションで、未トリミングビデオ内のアクションをローカライズすることを目的としている。 既存の手法ではフレームレベルの予測パラダイムを採用し、スパース単一フレームラベルから学習する。 本稿では,ポイントレベルアノテーションの提案に基づく予測パラダイムを検討する。
  論文  参考訳（メタデータ） (2020-12-15T12:11:48Z)
• Prototypical Contrast and Reverse Prediction: Unsupervised Skeleton Based Action Recognition [12.463955174384457]
  PCRP(Prototypeal Contrast and Reverse Prediction)と呼ばれる新しいフレームワークを提案する。 PCRPは逆逐次予測を生成し、低レベル情報と高レベルパターンを学習する。 また、アクションプロトタイプを作成して、シーケンス間で共有されるセマンティックな類似性を暗黙的にエンコードする。
  論文  参考訳（メタデータ） (2020-11-14T08:04:23Z)
• Unsupervised Domain Adaptation for Spatio-Temporal Action Localization [69.12982544509427]
  S時間動作の局所化はコンピュータビジョンにおいて重要な問題である。 本稿では、エンドツーエンドの教師なしドメイン適応アルゴリズムを提案する。 空間的特徴と時間的特徴を別々にあるいは共同的に適応した場合に,顕著な性能向上が達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-19T04:25:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。