論文の概要: Localization-Aware Multi-Scale Representation Learning for Repetitive Action Counting

• arxiv url: http://arxiv.org/abs/2501.07312v1
• Date: Mon, 13 Jan 2025 13:24:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:24:08.573668
• Title: Localization-Aware Multi-Scale Representation Learning for Repetitive Action Counting
• Title（参考訳）: 反復行動計数のための局所性を考慮したマルチスケール表現学習
• Authors: Sujia Wang, Xiangwei Shen, Yansong Tang, Xin Dong, Wenjia Geng, Lei Chen,
• Abstract要約: 反復的行動カウント (RAC) は、ビデオにおけるクラス非依存の行動発生回数を、例のない形で推定することを目的としている。 現在のRAC法の多くは、生のフレーム間類似性表現を周期予測に頼っている。 我々は、より堅牢で効率的なビデオ特徴を得るために、前景のローカライゼーション目標を類似性表現学習に導入する。
• 参考スコア（独自算出の注目度）: 19.546761142820376
• License:
• Abstract: Repetitive action counting (RAC) aims to estimate the number of class-agnostic action occurrences in a video without exemplars. Most current RAC methods rely on a raw frame-to-frame similarity representation for period prediction. However, this approach can be significantly disrupted by common noise such as action interruptions and inconsistencies, leading to sub-optimal counting performance in realistic scenarios. In this paper, we introduce a foreground localization optimization objective into similarity representation learning to obtain more robust and efficient video features. We propose a Localization-Aware Multi-Scale Representation Learning (LMRL) framework. Specifically, we apply a Multi-Scale Period-Aware Representation (MPR) with a scale-specific design to accommodate various action frequencies and learn more flexible temporal correlations. Furthermore, we introduce the Repetition Foreground Localization (RFL) method, which enhances the representation by coarsely identifying periodic actions and incorporating global semantic information. These two modules can be jointly optimized, resulting in a more discerning periodic action representation. Our approach significantly reduces the impact of noise, thereby improving counting accuracy. Additionally, the framework is designed to be scalable and adaptable to different types of video content. Experimental results on the RepCountA and UCFRep datasets demonstrate that our proposed method effectively handles repetitive action counting.
• Abstract（参考訳）: 反復的行動カウント (RAC) は、ビデオにおけるクラス非依存の行動発生回数を、例のない形で推定することを目的としている。 現在のRAC法の多くは、生のフレーム間類似性表現を周期予測に頼っている。 しかし、このアプローチはアクションの中断や不整合といった一般的なノイズによって著しく破壊され、現実的なシナリオにおける準最適カウント性能がもたらされる。 本稿では,より堅牢で効率的な映像特徴を得るために,前景のローカライゼーション最適化を類似性表現学習に導入する。 本稿では,LMRL(Localization-Aware Multi-Scale Representation Learning)フレームワークを提案する。 具体的には,MPR(Multi-Scale Period-Aware Representation)を用いて,様々な動作周波数に対応し,より柔軟な時間相関を学習する。 さらに、周期的行動の粗い識別と大域的意味情報の統合により表現を強化する繰り返し前景局所化(RFL)手法を提案する。 これら2つのモジュールは共同最適化が可能であり、周期的な行動表現がより明確になる。 提案手法はノイズの影響を著しく低減し, カウント精度を向上する。 さらに、このフレームワークは、さまざまなタイプのビデオコンテンツにスケーラブルで適応できるように設計されている。 RepCountA と UCFRep データセットの実験結果から,提案手法が反復的な動作カウントを効果的に処理できることが示されている。

関連論文リスト

• FMI-TAL: Few-shot Multiple Instances Temporal Action Localization by Probability Distribution Learning and Interval Cluster Refinement [2.261014973523156]
  本稿では,確率学習とクラスタリファインメントを備えた空間チャネル関係変換器を提案する。 この方法は,クエリビデオ中のアクションの開始と終了の境界を正確に識別することができる。 本モデルでは,ベンチマークデータセットである ActivityNet1.3 と THUMOS14 を用いて,厳密な実験を行うことで,競争性能を実現する。
  論文  参考訳（メタデータ） (2024-08-25T08:17:25Z)
• Frame Order Matters: A Temporal Sequence-Aware Model for Few-Shot Action Recognition [14.97527336050901]
  少ショット動作認識のための時間系列認識モデル(TSAM)を提案する。 シーケンシャルな知覚器アダプタを事前学習フレームワークに組み込んで、空間情報とシーケンシャルな時間的ダイナミクスの両方を特徴埋め込みに統合する。 5つのFSARデータセットに対する実験結果から,提案手法が新たなベンチマークを設定したことが確認された。
  論文  参考訳（メタデータ） (2024-08-22T15:13:27Z)
• An Information Compensation Framework for Zero-Shot Skeleton-based Action Recognition [49.45660055499103]
  ゼロショットの人間の骨格に基づく行動認識は、トレーニング中に見られるカテゴリ外の行動を認識するモデルを構築することを目的としている。 従来の研究では、シーケンスの視覚的空間分布と意味的空間分布の整合性に焦点が当てられていた。 強固で頑健な表現を得るために,新たな損失関数サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-02T06:53:01Z)
• Efficient Action Counting with Dynamic Queries [31.833468477101604]
  線形計算複雑性を伴う繰り返し動作サイクルをローカライズするために,アクションクエリ表現を用いた新しい手法を提案する。 静的なアクションクエリとは異なり、このアプローチは動的に動画機能をアクションクエリに埋め込み、より柔軟で一般化可能な表現を提供する。 提案手法は, 従来よりも特に, 長時間の映像シーケンス, 見えない動作, 様々な速度での動作において, 顕著に優れていた。
  論文  参考訳（メタデータ） (2024-03-03T15:43:11Z)
• Semantics-Aware Dynamic Localization and Refinement for Referring Image Segmentation [102.25240608024063]
  画像の参照は、言語表現からのイメージセグメントを参照する。 そこで我々は,局所化中心からセグメンテーション言語へ移行するアルゴリズムを開発した。 比較すると,本手法はより汎用的で有効である。
  論文  参考訳（メタデータ） (2023-03-11T08:42:40Z)
• Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition [54.23513799338309]
  骨格に基づく行動認識のための適応的局所成分認識グラフ畳み込みネットワークを提案する。 我々の手法はグローバルな埋め込みよりも強力な表現を提供し、我々のモデルが最先端に到達するのに役立ちます。
  論文  参考訳（メタデータ） (2022-09-21T02:33:07Z)
• EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
  本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。 まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。 第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
  論文  参考訳（メタデータ） (2021-07-22T15:57:18Z)
• Learning Salient Boundary Feature for Anchor-free Temporal Action Localization [81.55295042558409]
  時間的行動のローカライゼーションはビデオ理解において重要な課題である。 純粋にアンカーフリーな時間的定位法を初めて提案する。 このモデルには,(i)エンドツーエンドのトレーニング可能な基本予測器,(ii)サリエンシベースのリファインメントモジュール,(iii)いくつかの一貫性制約が含まれている。
  論文  参考訳（メタデータ） (2021-03-24T12:28:32Z)
• MuCAN: Multi-Correspondence Aggregation Network for Video Super-Resolution [63.02785017714131]
  ビデオ超解像(VSR)は、複数の低解像度フレームを使用して、各フレームに対して高解像度の予測を生成することを目的としている。 フレーム間およびフレーム内は、時間的および空間的情報を利用するための鍵となるソースである。 VSRのための効果的なマルチ対応アグリゲーションネットワーク(MuCAN)を構築した。
  論文  参考訳（メタデータ） (2020-07-23T05:41:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。