論文の概要: Spatial-temporal Transformer-guided Diffusion based Data Augmentation for Efficient Skeleton-based Action Recognition

• arxiv url: http://arxiv.org/abs/2302.13434v2
• Date: Tue, 25 Jul 2023 02:24:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 21:11:30.511479
• Title: Spatial-temporal Transformer-guided Diffusion based Data Augmentation for Efficient Skeleton-based Action Recognition
• Title（参考訳）: 時空間変換器誘導拡散に基づく効率的な骨格型行動認識のためのデータ拡張
• Authors: Yifan Jiang, Han Chen, Hanseok Ko
• Abstract要約: 骨格に基づく行動認識タスクのための新しいデータ拡張手法を提案する。 本手法は, 自然性および多様性の異なる指標に対して, 最先端(SOTA)モーション生成手法より優れる。
• 参考スコア（独自算出の注目度）: 32.07659338674024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, skeleton-based human action has become a hot research topic because the compact representation of human skeletons brings new blood to this research domain. As a result, researchers began to notice the importance of using RGB or other sensors to analyze human action by extracting skeleton information. Leveraging the rapid development of deep learning (DL), a significant number of skeleton-based human action approaches have been presented with fine-designed DL structures recently. However, a well-trained DL model always demands high-quality and sufficient data, which is hard to obtain without costing high expenses and human labor. In this paper, we introduce a novel data augmentation method for skeleton-based action recognition tasks, which can effectively generate high-quality and diverse sequential actions. In order to obtain natural and realistic action sequences, we propose denoising diffusion probabilistic models (DDPMs) that can generate a series of synthetic action sequences, and their generation process is precisely guided by a spatial-temporal transformer (ST-Trans). Experimental results show that our method outperforms the state-of-the-art (SOTA) motion generation approaches on different naturality and diversity metrics. It proves that its high-quality synthetic data can also be effectively deployed to existing action recognition models with significant performance improvement.
• Abstract（参考訳）: 近年、ヒト骨格のコンパクトな表現が新しい血液をこの研究領域にもたらすため、ヒトの骨格に基づく行動が熱い研究トピックとなっている。 その結果、研究者らはRGBや他のセンサーを使って骨格情報を抽出することで人間の行動を分析することの重要性に気づき始めた。 近年, 深層学習(DL)の急速な発展にともない, 骨格を基盤とした人為的行動のアプローチが, 細かな設計のDL構造で提示されている。 しかし、十分に訓練されたdlモデルは、常に高品質で十分なデータを要求するが、高いコストと人的労力を犠牲にすることなく取得することは困難である。 本稿では,高品質かつ多様な逐次動作を効果的に生成できるスケルトンベース行動認識タスクのための新しいデータ拡張手法を提案する。 自然および現実的な動作系列を得るために, 一連の合成動作系列を生成できる非接触拡散確率モデル (ddpms) を提案し, それらの生成過程を空間-時空間トランスフォーマ (st-trans) により精度良く導出する。 実験の結果,本手法は自然性および多様性の異なる指標に対して,最先端(SOTA)モーション生成手法よりも優れていた。 高品質な合成データが既存の行動認識モデルに効果的に展開でき、性能が大幅に向上することを示した。

関連論文リスト

• Enhancing Activity Recognition After Stroke: Generative Adversarial Networks for Kinematic Data Augmentation [0.0]
  脳卒中リハビリテーションにおけるウェアラブルモニタリングのための機械学習モデルの一般化可能性はしばしば、利用可能なデータの限られたスケールと不均一性によって制限される。 データ拡張は、トレーニングセットに表される変動性を強化するために、実際のデータに計算的に導出されたデータを追加することで、この課題に対処する。 本研究では、CGAN(Conditional Generative Adversarial Networks)を用いて、公開データセットから合成キネマティックデータを生成する。 合成データと実験データの両方でディープラーニングモデルを訓練することにより、タスク分類精度を向上させる:実データのみを訓練したモデルでは66.1%よりもはるかに高い80.0%の精度で合成データを組み込んだモデル。
  論文  参考訳（メタデータ） (2024-06-12T15:51:00Z)
• MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints [50.61346764110482]
  筋骨格系と学習可能なパラメトリックハンドモデルMANOを統合し,MS-MANOを作成する。 このモデルは骨格系を駆動する筋肉と腱の力学をエミュレートし、結果として生じるトルク軌跡に生理学的に現実的な制約を与える。 また,マルチ層パーセプトロンネットワークによる初期推定ポーズを改良する,ループ式ポーズ改善フレームワークBioPRを提案する。
  論文  参考訳（メタデータ） (2024-04-16T02:18:18Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• Scaling Up Dynamic Human-Scene Interaction Modeling [58.032368564071895]
  TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。 人体全体の動きや部分レベルの物体の動きを複雑に捉えます。 本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-13T15:45:04Z)
• Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
  拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。 本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
  論文  参考訳（メタデータ） (2024-02-19T15:57:39Z)
• Derm-T2IM: Harnessing Synthetic Skin Lesion Data via Stable Diffusion Models for Enhanced Skin Disease Classification using ViT and CNN [1.0499611180329804]
  我々は、最近の数発学習の成功を拡大して、拡張されたデータ変換技術を統合することを目指している。 最先端機械学習モデルのトレーニングパイプラインに新たに生成された合成データを組み込むことによる影響について検討する。
  論文  参考訳（メタデータ） (2024-01-10T13:46:03Z)
• Learning Latent Dynamics via Invariant Decomposition and (Spatio-)Temporal Transformers [0.6767885381740952]
  本研究では,高次元経験データから力学系を学習する手法を提案する。 我々は、システムの複数の異なるインスタンスからデータが利用できる設定に焦点を当てる。 我々は、単純な理論的分析と、合成および実世界のデータセットに関する広範な実験を通して行動を研究する。
  論文  参考訳（メタデータ） (2023-06-21T07:52:07Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Spatio-Temporal Human Action Recognition Modelwith Flexible-interval Sampling and Normalization [0.0]
  設計モジュールを用いた赤緑色(RGB)ビデオ入力のためのヒューマンアクションシステムを提案する。 我々は、人間のキーポイント予測と行動認識の両方に対して、類似した背景と差別的な行動を持つ新しいデータセットを構築した。 実験により,提案モデルの有効性を,我々の行動認識データセットといくつかの公開データセットで実証した。
  論文  参考訳（メタデータ） (2021-08-12T10:02:20Z)
• The Imaginative Generative Adversarial Network: Automatic Data Augmentation for Dynamic Skeleton-Based Hand Gesture and Human Action Recognition [27.795763107984286]
  本稿では、入力データの分布を近似し、この分布から新しいデータをサンプリングする新しい自動データ拡張モデルを提案する。 以上の結果から,拡張戦略は訓練が高速であり,ニューラルネットワークと最先端手法の両方の分類精度を向上させることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-27T11:07:09Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。