論文の概要: Cross-Video Contextual Knowledge Exploration and Exploitation for Ambiguity Reduction in Weakly Supervised Temporal Action Localization

• arxiv url: http://arxiv.org/abs/2308.12609v2
• Date: Sat, 9 Dec 2023 07:48:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 02:03:29.636889
• Title: Cross-Video Contextual Knowledge Exploration and Exploitation for Ambiguity Reduction in Weakly Supervised Temporal Action Localization
• Title（参考訳）: 弱教師付き時間的行動定位におけるあいまいさ低減のためのクロスビデオ文脈知識探索と活用
• Authors: Songchun Zhang, and Chunhui Zhao
• Abstract要約: 弱教師付き時間的行動ローカライゼーション(WSTAL)は、ビデオレベルのラベルを用いて、未トリミングビデオ中のアクションをローカライズすることを目的としている。 私たちの研究は、データセット内のビデオ間のコンテキスト知識を探索し、活用することで、これを新しい視点から解決します。 我々の手法は最先端の手法よりも優れており、他のWSTAL手法に簡単に接続できる。
• 参考スコア（独自算出の注目度）: 23.94629999419033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weakly supervised temporal action localization (WSTAL) aims to localize actions in untrimmed videos using video-level labels. Despite recent advances, existing approaches mainly follow a localization-by-classification pipeline, generally processing each segment individually, thereby exploiting only limited contextual information. As a result, the model will lack a comprehensive understanding (e.g. appearance and temporal structure) of various action patterns, leading to ambiguity in classification learning and temporal localization. Our work addresses this from a novel perspective, by exploring and exploiting the cross-video contextual knowledge within the dataset to recover the dataset-level semantic structure of action instances via weak labels only, thereby indirectly improving the holistic understanding of fine-grained action patterns and alleviating the aforementioned ambiguities. Specifically, an end-to-end framework is proposed, including a Robust Memory-Guided Contrastive Learning (RMGCL) module and a Global Knowledge Summarization and Aggregation (GKSA) module. First, the RMGCL module explores the contrast and consistency of cross-video action features, assisting in learning more structured and compact embedding space, thus reducing ambiguity in classification learning. Further, the GKSA module is used to efficiently summarize and propagate the cross-video representative action knowledge in a learnable manner to promote holistic action patterns understanding, which in turn allows the generation of high-confidence pseudo-labels for self-learning, thus alleviating ambiguity in temporal localization. Extensive experiments on THUMOS14, ActivityNet1.3, and FineAction demonstrate that our method outperforms the state-of-the-art methods, and can be easily plugged into other WSTAL methods.
• Abstract（参考訳）: weakly supervised temporal action localization(wstal)は、ビデオレベルのラベルを使用して、未トリミングビデオ内のアクションをローカライズすることを目的としている。 最近の進歩にもかかわらず、既存のアプローチは主にローカライズ・バイ・クラス化パイプラインに従っており、一般に各セグメントを個別に処理し、限られた文脈情報のみを活用する。 その結果、モデルには様々な行動パターンの包括的理解(例:外観と時間構造)が欠如しており、分類学習と時間的局所化の曖昧さに繋がる。 本研究は,データセット内のクロスビデオ文脈知識を探索し,弱いラベルのみによるアクションインスタンスのデータセットレベルのセマンティクス構造を復元することにより,きめ細かいアクションパターンの総合的な理解を間接的に改善し,前述の曖昧さを緩和することで,新たな視点からこの問題に対処した。 具体的には、Robust Memory-Guided Contrastive Learning (RMGCL)モジュールとGlobal Knowledge Summarization and Aggregation (GKSA)モジュールを含むエンドツーエンドフレームワークを提案する。 まず、RMGCLモジュールは、ビデオ間のアクション機能のコントラストと一貫性を探求し、より構造化されコンパクトな埋め込み空間の学習を支援し、分類学習における曖昧さを低減する。 さらに、gksaモジュールは、クロスビデオ代表行動知識を学習可能な方法で効率的に要約し、総合的な行動パターン理解を促進し、その結果、自己学習のための自信の高い擬似ラベルの生成を可能にし、時間的局在の曖昧さを緩和する。 THUMOS14, ActivityNet1.3, FineAction に関する大規模な実験により,本手法が最先端の手法よりも優れており,他の WSTAL 手法に簡単に接続可能であることが示された。

関連論文リスト

• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• SCD-Net: Spatiotemporal Clues Disentanglement Network for Self-supervised Skeleton-based Action Recognition [39.99711066167837]
  本稿では、SCD-Net(Stemporal Clues Disentanglement Network)という、対照的な学習フレームワークを紹介する。 具体的には,これらのシーケンスを特徴抽出器と統合し,空間領域と時間領域からそれぞれ明確な手がかりを導出する。 我々は,NTU-+D (60&120) PKU-MMDI (&I) データセットの評価を行い,行動認識,行動検索,伝達学習などの下流タスクを網羅した。
  論文  参考訳（メタデータ） (2023-09-11T21:32:13Z)
• Structured Video-Language Modeling with Temporal Grouping and Spatial Grounding [112.3913646778859]
  簡単なビデオ言語モデリングフレームワークであるS-ViLMを提案する。 これには、学習領域オブジェクトのアライメントと時間認識機能を促進するために、クリップ間の空間的接地と、クリップ内の時間的グループ化という、2つの新しい設計が含まれている。 S-ViLMは4つの下流タスクにおいて、最先端の手法を大幅に超えている。
  論文  参考訳（メタデータ） (2023-03-28T22:45:07Z)
• Weakly-Supervised Temporal Action Localization by Inferring Salient Snippet-Feature [26.7937345622207]
  弱教師付き時間的アクションローカライゼーションは、教師なしビデオ内のアクション領域を特定し、アクションカテゴリを同時に特定することを目的としている。 擬似ラベル生成は、この課題を解決するための有望な戦略であるが、現在の手法ではビデオの自然な時間構造を無視している。 そこで本研究では,有意なスニペット特徴を推定し,時間的動作の局所化を弱く制御する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-22T06:08:34Z)
• Exploit CAM by itself: Complementary Learning System for Weakly Supervised Semantic Segmentation [59.24824050194334]
  本稿では,CLS(Complementary Learning System)というエージェント学習における興味深い作業機構について述べる。 このシンプルだが効果的な学習パターンを動機として,汎用学習機構(GSLM)を提案する。 汎用学習モジュール(GLM)と特定学習モジュール(SLM)を開発するGSLM
  論文  参考訳（メタデータ） (2023-03-04T16:16:47Z)
• USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text Retrieval [115.28586222748478]
  Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。 既存のアプローチは通常、2つの大きな制限に悩まされる。
  論文  参考訳（メタデータ） (2023-01-17T12:42:58Z)
• HiCLRE: A Hierarchical Contrastive Learning Framework for Distantly Supervised Relation Extraction [24.853265244512954]
  雑音の少ない文を抽出するための階層的コントラスト学習フレームワーク (HiCLRE) を提案する。 具体的には,3段階の階層型学習フレームワークを提案する。 実験により、HiCLREは様々なメインストリームDSREデータセットにおいて、強いベースラインを著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2022-02-27T12:48:26Z)
• Transferable Knowledge-Based Multi-Granularity Aggregation Network for Temporal Action Localization: Submission to ActivityNet Challenge 2021 [33.840281113206444]
  本報告では,2021 HACS 時空間行動ローカライゼーションチャレンジの提出に使用したソリューションの概要について述べる。 我々は、TCANet(Temporal Context Aggregation Network)を用いて、高品質なアクション提案を生成する。 また、トリミングされたビデオから未トリミングされたビデオに知識を移すための追加モジュールも採用しています。 提案手法は, 教師付きおよび弱教師付き時間的行動局所化トラックを用いて, 39.91 と 29.78 の平均 mAP をそれぞれ達成する。
  論文  参考訳（メタデータ） (2021-07-27T06:18:21Z)
• Weakly Supervised Temporal Action Localization Through Learning Explicit Subspaces for Action and Context [151.23835595907596]
  ビデオレベルの監視のみの下で、アクションインスタンスの時間的開始と終了をローカライズする方法を学ぶ。 アクションとコンテキストそれぞれについて,2つの機能サブスペースを学習するフレームワークを提案する。 提案手法は3つのベンチマークで最先端のWS-TAL法より優れている。
  論文  参考訳（メタデータ） (2021-03-30T08:26:53Z)
• Intra- and Inter-Action Understanding via Temporal Action Parsing [118.32912239230272]
  本研究では,スポーツビデオにサブアクションの手動アノテーションを付加した新しいデータセットを構築し,その上に時間的行動解析を行う。 スポーツ活動は通常、複数のサブアクションから構成されており、このような時間構造に対する意識は、行動認識に有益であることを示す。 また,時間的解析手法を多数検討し,そのラベルを知らずにトレーニングデータからサブアクションをマイニングできる改良手法を考案した。
  論文  参考訳（メタデータ） (2020-05-20T17:45:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。