論文の概要: GTAutoAct: An Automatic Datasets Generation Framework Based on Game Engine Redevelopment for Action Recognition

• arxiv url: http://arxiv.org/abs/2401.13414v1
• Date: Wed, 24 Jan 2024 12:18:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-25 14:45:19.782687
• Title: GTAutoAct: An Automatic Datasets Generation Framework Based on Game Engine Redevelopment for Action Recognition
• Title（参考訳）: GTAutoAct: アクション認識のためのゲームエンジン再開発に基づく自動データセット生成フレームワーク
• Authors: Xingyu Song, Zhan Li, Shi Chen and Kazuyuki Demachi
• Abstract要約: GTAutoActは、ゲームエンジン技術を活用してアクション認識の進歩を促進する新しいデータセット生成フレームワークである。 座標に基づく3次元人間の動きを、複数の視点で適合性を高めた回転向きの表現に変換する。 自律的なビデオキャプチャと処理パイプラインを実装しており、ランダムにナビゲートするカメラと自動トリミングとラベル付け機能を備えている。
• 参考スコア（独自算出の注目度）: 12.521014978532548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current datasets for action recognition tasks face limitations stemming from traditional collection and generation methods, including the constrained range of action classes, absence of multi-viewpoint recordings, limited diversity, poor video quality, and labor-intensive manually collection. To address these challenges, we introduce GTAutoAct, a innovative dataset generation framework leveraging game engine technology to facilitate advancements in action recognition. GTAutoAct excels in automatically creating large-scale, well-annotated datasets with extensive action classes and superior video quality. Our framework's distinctive contributions encompass: (1) it innovatively transforms readily available coordinate-based 3D human motion into rotation-orientated representation with enhanced suitability in multiple viewpoints; (2) it employs dynamic segmentation and interpolation of rotation sequences to create smooth and realistic animations of action; (3) it offers extensively customizable animation scenes; (4) it implements an autonomous video capture and processing pipeline, featuring a randomly navigating camera, with auto-trimming and labeling functionalities. Experimental results underscore the framework's robustness and highlights its potential to significantly improve action recognition model training.
• Abstract（参考訳）: アクション認識タスクの現在のデータセットは、アクションクラスの範囲の制限、マルチ視点記録の欠如、多様性の制限、ビデオ品質の低さ、労働集約的な手動収集など、従来の収集と生成方法に起因する制限に直面している。 これらの課題に対処するために,ゲームエンジン技術を活用した革新的なデータセット生成フレームワークであるGTAutoActを導入する。 GTAutoActは、広範囲なアクションクラスと優れたビデオ品質を備えた大規模で十分に注釈付けされたデータセットを自動生成する。 Our framework's distinctive contributions encompass: (1) it innovatively transforms readily available coordinate-based 3D human motion into rotation-orientated representation with enhanced suitability in multiple viewpoints; (2) it employs dynamic segmentation and interpolation of rotation sequences to create smooth and realistic animations of action; (3) it offers extensively customizable animation scenes; (4) it implements an autonomous video capture and processing pipeline, featuring a randomly navigating camera, with auto-trimming and labeling functionalities. 実験結果は、フレームワークの堅牢性を強調し、アクション認識モデルのトレーニングを大幅に改善する可能性を強調している。

関連論文リスト

• Leader and Follower: Interactive Motion Generation under Trajectory Constraints [42.90788442575116]
  本稿では,対話型モーションジェネレーションにおける動作範囲改善過程について検討する。 Pace ControllerとKinematic Synchronization Adapterを統合した、トレーニング不要のアプローチを提案する。 実験結果から,提案手法は軌道情報をよりよく活用することにより,既存の手法よりも現実性と精度が優れていることがわかった。
  論文  参考訳（メタデータ） (2025-02-17T08:52:45Z)
• Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
  本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。 条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。 実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
  論文  参考訳（メタデータ） (2025-02-10T14:49:09Z)
• VideoJAM: Joint Appearance-Motion Representations for Enhanced Motion Generation in Video Models [71.9811050853964]
  VideoJAMは、ビデオジェネレータの前に効果的な動きを注入する新しいフレームワークである。 VideoJAMは動きコヒーレンスにおける最先端のパフォーマンスを達成する。 これらの知見は、外観と動きが相補的であり、効果的に統合されると、映像生成の視覚的品質とコヒーレンスの両方を高めることを強調した。
  論文  参考訳（メタデータ） (2025-02-04T17:07:10Z)
• InterDyn: Controllable Interactive Dynamics with Video Diffusion Models [50.38647583839384]
  我々は、初期フレームと駆動対象またはアクターの動作を符号化する制御信号が与えられたインタラクティブな動画像を生成するフレームワークであるInterDynを提案する。 私たちの重要な洞察は、大規模ビデオデータからインタラクティブなダイナミクスを学習することで、大きなビデオファンデーションモデルがニューラルと暗黙の物理シミュレータの両方として機能できるということです。
  論文  参考訳（メタデータ） (2024-12-16T13:57:02Z)
• Seeing Beyond Views: Multi-View Driving Scene Video Generation with Holistic Attention [61.3281618482513]
  高品質なマルチビュー駆動ビデオの合成を目的とした,新しいネットワークであるCogDrivingについて紹介する。 CogDriving は Diffusion Transformer アーキテクチャと holistic-4D attention module を活用し、次元間の同時結合を可能にする。 CogDrivingは、nuScenesバリデーションセットで強力なパフォーマンスを示し、FVDスコア37.8を達成し、リアルなドライビングビデオを生成する能力を強調している。
  論文  参考訳（メタデータ） (2024-12-04T18:02:49Z)
• An Animation-based Augmentation Approach for Action Recognition from Discontinuous Video [11.293897932762809]
  コンピュータビジョンの重要な構成要素である行動認識は、複数のアプリケーションにおいて重要な役割を果たす。 CNNは、不連続なビデオフレームでトレーニングされた場合、パフォーマンスの低下に悩まされる。 この問題を克服するために、一連の高度な技術を用いた4Aパイプラインを紹介します。
  論文  参考訳（メタデータ） (2024-04-10T04:59:51Z)
• TrackDiffusion: Tracklet-Conditioned Video Generation via Diffusion Models [75.20168902300166]
  微粒な軌跡条件の運動制御が可能な新しい映像生成フレームワークであるTrackDiffusionを提案する。 TrackDiffusionの重要なコンポーネントは、複数のオブジェクトのフレーム間の一貫性を明確に保証するインスタンスエンハンサーである。 TrackDiffusionによって生成されたビデオシーケンスは、視覚知覚モデルのトレーニングデータとして使用できる。
  論文  参考訳（メタデータ） (2023-12-01T15:24:38Z)
• Learning Variational Motion Prior for Video-based Motion Capture [31.79649766268877]
  ビデオに基づくモーションキャプチャーのための新しい変分動作先行学習手法(VMP)を提案する。 我々のフレームワークはフレームワイドポーズ推定における時間的ジッタリングと障害モードを効果的に削減できる。 公開データセットとインザワイルドビデオの両方を用いた実験により、我々のフレームワークの有効性と一般化能力が実証された。
  論文  参考訳（メタデータ） (2022-10-27T02:45:48Z)
• Action-conditioned On-demand Motion Generation [11.45641608124365]
  本研究では,現実的で多種多様な3次元人間の動作系列を生成するための新しいフレームワーク,On-Demand Motion Generation (ODMO)を提案する。 ODMOは3つの公開データセットで評価すると、従来のすべてのモーション評価指標に対するSOTAアプローチよりも改善されている。
  論文  参考訳（メタデータ） (2022-07-17T13:04:44Z)
• AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control [145.61135774698002]
  我々は,与えられたシナリオで追跡するキャラクタの動作を選択するための完全自動化手法を提案する。 キャラクタが実行するべきハイレベルなタスク目標は、比較的単純な報酬関数によって指定できる。 キャラクタの動作の低レベルスタイルは、非構造化モーションクリップのデータセットによって指定できる。 本システムでは,最先端のトラッキング技術に匹敵する高品質な動作を生成する。
  論文  参考訳（メタデータ） (2021-04-05T22:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。