論文の概要: Quo Vadis, Skeleton Action Recognition ?
- arxiv url: http://arxiv.org/abs/2007.02072v2
- Date: Wed, 7 Apr 2021 16:30:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-13 13:54:53.367698
- Title: Quo Vadis, Skeleton Action Recognition ?
- Title(参考訳): quo vadis、スケルトンアクション認識?
- Authors: Pranay Gupta, Anirudh Thatipelli, Aditya Aggarwal, Shubh Maheshwari,
Neel Trivedi, Sourav Das, Ravi Kiran Sarvadevabhatla
- Abstract要約: 我々は骨格に基づく人間の行動認識の現場における現在および今後のフロンティアについて研究する。
本研究では,Kinetics-700から得られたRGBビデオのキュレートしたサブセットであるSkeletics-152を紹介する。
我々は、Skeleton-MimeticsおよびMetaphoricsデータセットを導入して、文脈外アクションを含むように研究を拡張した。
- 参考スコア(独自算出の注目度): 11.389618872289647
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study current and upcoming frontiers across the landscape
of skeleton-based human action recognition. To study skeleton-action
recognition in the wild, we introduce Skeletics-152, a curated and 3-D
pose-annotated subset of RGB videos sourced from Kinetics-700, a large-scale
action dataset. We extend our study to include out-of-context actions by
introducing Skeleton-Mimetics, a dataset derived from the recently introduced
Mimetics dataset. We also introduce Metaphorics, a dataset with caption-style
annotated YouTube videos of the popular social game Dumb Charades and
interpretative dance performances. We benchmark state-of-the-art models on the
NTU-120 dataset and provide multi-layered assessment of the results. The
results from benchmarking the top performers of NTU-120 on the newly introduced
datasets reveal the challenges and domain gap induced by actions in the wild.
Overall, our work characterizes the strengths and limitations of existing
approaches and datasets. Via the introduced datasets, our work enables new
frontiers for human action recognition.
- Abstract(参考訳): 本稿では,骨格に基づく人間の行動認識の現場における現在および今後のフロンティアについて検討する。
本研究では,大規模なアクションデータセットであるKinetics-700から得られたRGBビデオの3次元ポーズアノテート・サブセットであるSkeletics-152を紹介する。
我々は、最近導入されたMimeticsデータセットから派生したデータセットであるSkeleton-Mimeticsを導入することで、文脈外アクションを含むように研究を拡張した。
また、メタフォリックス(Metaphorics)は、人気のソーシャルゲームDumm Charadesのキャプションスタイルのアノテーション付きYouTubeビデオと解釈ダンスパフォーマンスのデータセットも導入した。
我々は、NTU-120データセットの最先端モデルをベンチマークし、結果を多層評価する。
新たに導入されたデータセットでntu-120のトップパフォーマーをベンチマークした結果、ワイルドなアクションによって引き起こされる課題とドメインギャップが明らかになった。
全体として、我々の作品は既存のアプローチとデータセットの強みと限界を特徴づけています。
導入したデータセットを通じて、我々の研究は人間の行動認識の新しいフロンティアを可能にします。
関連論文リスト
- Scaling Up Dynamic Human-Scene Interaction Modeling [58.032368564071895]
TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。
人体全体の動きや部分レベルの物体の動きを複雑に捉えます。
本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
論文 参考訳(メタデータ) (2024-03-13T15:45:04Z) - Fine-grained Action Analysis: A Multi-modality and Multi-task Dataset of Figure Skating [10.391609684374268]
本研究では,世界フィギュアスケート選手権から収集した多目的・マルチタスクのフィギュアスケートデータセットを提案する。
行動認識と行動品質評価を持つMMFSは、RGB、スケルトンをキャプチャし、空間ラベルや時間ラベルを含む256のカテゴリを持つ11671クリップからアクションのスコアを収集する。
論文 参考訳(メタデータ) (2023-07-06T02:30:56Z) - Learning Action-Effect Dynamics from Pairs of Scene-graphs [50.72283841720014]
本稿では,画像のシーングラフ表現を利用して,自然言語で記述された行動の効果を推論する手法を提案する。
提案手法は,既存のモデルと比較して,性能,データ効率,一般化能力の点で有効である。
論文 参考訳(メタデータ) (2022-12-07T03:36:37Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳(メタデータ) (2022-07-17T07:05:39Z) - ANUBIS: Review and Benchmark Skeleton-Based Action Recognition Methods
with a New Dataset [26.581495230711198]
本稿では,骨格型行動認識の既存の研究について,分類学の形で概説する。
より公平で包括的な評価を促進するために,大規模な人体骨格データセットAnUBISを収集する。
論文 参考訳(メタデータ) (2022-05-04T14:03:43Z) - MSeg: A Composite Dataset for Multi-domain Semantic Segmentation [100.17755160696939]
セマンティックセグメンテーションデータセットを異なるドメインから統合する合成データセットであるMSegを提案する。
一般化と画素レベルのアノテーションのアライメントを調整し,2万枚以上のオブジェクトマスクを8万枚以上の画像で再現する。
MSegでトレーニングされたモデルは、WildDash-v1のリーダーボードで、トレーニング中にWildDashのデータに触れることなく、堅牢なセマンティックセグメンテーションのためにランク付けされている。
論文 参考訳(メタデータ) (2021-12-27T16:16:35Z) - Skeleton-Based Mutually Assisted Interacted Object Localization and
Human Action Recognition [111.87412719773889]
本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。
本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
論文 参考訳(メタデータ) (2021-10-28T10:09:34Z) - UNIK: A Unified Framework for Real-world Skeleton-based Action
Recognition [11.81043814295441]
UNIKは、データセットをまたいで一般化できる新しい骨格に基づく行動認識手法である。
実世界のビデオにおける行動認識のクロスドメイン一般化可能性について検討するため,提案したUNIKと同様に最先端のアプローチを再評価する。
その結果,提案したUNIKは,Poseticsを事前学習した上で,4つのターゲットアクション分類データセットに転送した場合に,最先端の処理性能を向上することがわかった。
論文 参考訳(メタデータ) (2021-07-19T02:00:28Z) - CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural
Summarization Systems [121.78477833009671]
データセット間設定下での様々な要約モデルの性能について検討する。
異なるドメインの5つのデータセットに対する11の代表的な要約システムに関する包括的な研究は、モデルアーキテクチャと生成方法の影響を明らかにしている。
論文 参考訳(メタデータ) (2020-10-11T02:19:15Z) - A Survey on 3D Skeleton-Based Action Recognition Using Learning Method [20.865811389226234]
3Dスケルトンに基づく行動認識は、スケルトンが潜在的に有利なため、コンピュータビジョンにおいて活発な話題となっている。
この調査はまず,行動認識の必要性と3次元骨格データの重要性を強調した。
次に、リカレントニューラルネットワーク(RNN)、畳み込みニューラルネットワーク(CNN)、グラフ畳み込みニューラルネットワーク(GCN)に基づく主ストリーム動作認識技術について概説する。
論文 参考訳(メタデータ) (2020-02-14T08:12:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。