論文の概要: Spatio-Temporal Action Detection Under Large Motion

• arxiv url: http://arxiv.org/abs/2209.02250v1
• Date: Tue, 6 Sep 2022 06:55:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 14:14:51.631719
• Title: Spatio-Temporal Action Detection Under Large Motion
• Title（参考訳）: 大運動時の時空間行動検出
• Authors: Gurkirt Singh, Vasileios Choutas, Suman Saha, Fisher Yu, Luc Van Gool
• Abstract要約: 大アクション下での動作検出における立方体認識機能アグリゲーションの性能について検討した。 本研究では,アクターをトラッキングし,各トラックに沿って時間的特徴アグリゲーションを行うことにより,大きな動作下でのアクター表現を強化することを提案する。 その結果,立方体認識機能アグリゲーションは,立方体認識ベースラインに比べて動作検出性能が向上することがわかった。
• 参考スコア（独自算出の注目度）: 86.3220533375967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current methods for spatiotemporal action tube detection often extend a bounding box proposal at a given keyframe into a 3D temporal cuboid and pool features from nearby frames. However, such pooling fails to accumulate meaningful spatiotemporal features if the position or shape of the actor shows large 2D motion and variability through the frames, due to large camera motion, large actor shape deformation, fast actor action and so on. In this work, we aim to study the performance of cuboid-aware feature aggregation in action detection under large action. Further, we propose to enhance actor feature representation under large motion by tracking actors and performing temporal feature aggregation along the respective tracks. We define the actor motion with intersection-over-union (IoU) between the boxes of action tubes/tracks at various fixed time scales. The action having a large motion would result in lower IoU over time, and slower actions would maintain higher IoU. We find that track-aware feature aggregation consistently achieves a large improvement in action detection performance, especially for actions under large motion compared to the cuboid-aware baseline. As a result, we also report state-of-the-art on the large-scale MultiSports dataset.
• Abstract（参考訳）: 現在の時空間行動管検出法は、鍵フレームのバウンディングボックスの提案を近くのフレームから3次元の時空間立方体とプールの特徴に拡張することが多い。 しかし、大きなカメラの動き、大きなアクター形状の変形、速いアクター動作などにより、アクターの位置や形状がフレームを通して大きく2次元の動きや変動を示す場合、このようなプールは有意義な時空間的特徴を蓄積することができない。 本研究では,大規模動作時の行動検出におけるcuboid-aware feature aggregationの性能について検討する。 さらに,アクターをトラッキングし,各トラックに沿って時間的特徴集計を行うことにより,大きな動作下でのアクター特徴表現を強化することを提案する。 アクションチューブ/トラック間の交点オーバー結合(iou)を伴うアクタ動作を,様々な一定時間スケールで定義する。 大きな動きを持つ作用は時間の経過とともにIoUを低下させ、遅い作用はIoUを上昇させる。 トラック認識機能アグリゲーションは,特に立方体認識ベースラインに比べて大きな動作下での動作に対して,動作検出性能を大幅に向上することがわかった。 その結果,大規模MultiSportsデータセットについて現状を報告する。

関連論文リスト

• ETTrack: Enhanced Temporal Motion Predictor for Multi-Object Tracking [4.250337979548885]
  時間的動き予測器であるETTrackを用いた動きに基づくMOT手法を提案する。 具体的には、動作予測器は、変換器モデルと時間畳み込みネットワーク(TCN)を統合して、短期および長期の動作パターンをキャプチャする。 本研究では,DanceTrackとSportsMOTの最先端トラッカーと比較して,ETTrackの競争性能が向上していることを示す。
  論文  参考訳（メタデータ） (2024-05-24T17:51:33Z)
• Instantaneous Perception of Moving Objects in 3D [86.38144604783207]
  周囲の交通参加者の3次元運動の認識は、運転安全に不可欠である。 本研究では,物体点雲の局所的な占有率の達成を利用して形状を密度化し,水泳人工物の影響を軽減することを提案する。 広汎な実験は、標準的な3次元運動推定手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-05-05T01:07:24Z)
• Implicit Motion Handling for Video Camouflaged Object Detection [60.98467179649398]
  本稿では,新しいビデオカモフラージュオブジェクト検出(VCOD)フレームワークを提案する。 短期的および長期的整合性を利用して、ビデオフレームからカモフラージュされたオブジェクトを検出する。
  論文  参考訳（メタデータ） (2022-03-14T17:55:41Z)
• Behavior Recognition Based on the Integration of Multigranular Motion Features [17.052997301790693]
  マルチグラニュラ(IMG)運動特徴の統合に基づく新しい行動認識手法を提案する。 我々は,HMDB51,Something,UCF101など,いくつかの行動認識ベンチマークを用いて評価を行った。
  論文  参考訳（メタデータ） (2022-03-07T02:05:26Z)
• Motion-from-Blur: 3D Shape and Motion Estimation of Motion-blurred Objects in Videos [115.71874459429381]
  本研究では,映像から3次元の運動,3次元の形状,および高度に動きやすい物体の外観を同時推定する手法を提案する。 提案手法は, 高速移動物体の劣化と3次元再構成において, 従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-29T11:25:14Z)
• TSI: Temporal Saliency Integration for Video Action Recognition [32.18535820790586]
  本稿では,SME(Salient Motion Excitation)モジュールとCTI(Cross-scale Temporal Integration)モジュールを主成分とするTSI(Temporal Saliency Integration)ブロックを提案する。 SMEは、局所的な動きモデリングを通して、動きに敏感な領域を強調することを目的としている。 CTIは、それぞれ別々の1D畳み込みの群を通じて、マルチスケールの時間的モデリングを実行するように設計されている。
  論文  参考訳（メタデータ） (2021-06-02T11:43:49Z)
• MAT: Motion-Aware Multi-Object Tracking [9.098793914779161]
  本稿では,様々な物体の動作パターンに着目した動き認識トラッキング(MAT)を提案する。 MOT16とMOT17の挑戦的なベンチマークの実験は、我々のMATアプローチが大きなマージンで優れたパフォーマンスを達成することを実証している。
  論文  参考訳（メタデータ） (2020-09-10T11:51:33Z)
• PAN: Towards Fast Action Recognition via Learning Persistence of Appearance [60.75488333935592]
  最先端のほとんどの手法は、動きの表現として密度の高い光の流れに大きく依存している。 本稿では,光学的フローに依存することで,高速な動作認識に光を当てる。 我々はPersistence of Outearance(PA)と呼ばれる新しい動きキューを設計する。 光学的流れとは対照的に,我々のPAは境界における運動情報の蒸留に重点を置いている。
  論文  参考訳（メタデータ） (2020-08-08T07:09:54Z)
• Motion-Attentive Transition for Zero-Shot Video Object Segmentation [99.44383412488703]
  ゼロショットオブジェクトセグメンテーションのためのモーション・アテンタティブ・トランジション・ネットワーク(MATNet)を提案する。 モーション・アテンティブ・トランジション (MAT) と呼ばれる非対称のアテンションブロックは、2ストリームエンコーダ内に設計されている。 このように、エンコーダは深く相互に作用し、物体の動きと外観の間の密な階層的な相互作用を可能にする。
  論文  参考訳（メタデータ） (2020-03-09T16:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。