論文の概要: Synthetic Human Action Video Data Generation with Pose Transfer

• arxiv url: http://arxiv.org/abs/2506.09411v1
• Date: Wed, 11 Jun 2025 05:52:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:02.519606
• Title: Synthetic Human Action Video Data Generation with Pose Transfer
• Title（参考訳）: Pose Transferを用いた合成ヒューマンアクションビデオデータ生成
• Authors: Vaclav Knapp, Matyas Bohacek,
• Abstract要約: 本稿では,ポーズ転送を用いた合成人間の行動映像データを生成する手法を提案する。 本手法をToyota SmarthomeおよびNTU RGB+Dデータセット上で評価し,動作認識タスクの性能向上を示す。
• 参考スコア（独自算出の注目度）: 0.7366405857677227
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In video understanding tasks, particularly those involving human motion, synthetic data generation often suffers from uncanny features, diminishing its effectiveness for training. Tasks such as sign language translation, gesture recognition, and human motion understanding in autonomous driving have thus been unable to exploit the full potential of synthetic data. This paper proposes a method for generating synthetic human action video data using pose transfer (specifically, controllable 3D Gaussian avatar models). We evaluate this method on the Toyota Smarthome and NTU RGB+D datasets and show that it improves performance in action recognition tasks. Moreover, we demonstrate that the method can effectively scale few-shot datasets, making up for groups underrepresented in the real training data and adding diverse backgrounds. We open-source the method along with RANDOM People, a dataset with videos and avatars of novel human identities for pose transfer crowd-sourced from the internet.
• Abstract（参考訳）: ビデオ理解タスク、特に人間の動きに関わるタスクでは、合成データ生成は不気味な特徴に悩まされ、トレーニングの有効性が低下する。 自律運転における手話翻訳、ジェスチャー認識、人間の動作理解などのタスクは、合成データの潜在能力を最大限に活用することができない。 本稿では,ポーズ転送(特に制御可能な3次元ガウスアバターモデル)を用いて合成人間の行動映像データを生成する手法を提案する。 本手法をToyota SmarthomeおよびNTU RGB+Dデータセット上で評価し,動作認識タスクの性能向上を示す。 さらに,本手法は,少数のデータセットを効果的にスケールし,実際のトレーニングデータに表現されていないグループを補足し,多様な背景を付加できることを実証する。 我々はRANDOM Peopleとともにこの手法をオープンソース化した。これは、インターネットからクラウドソースされたポーズ転送のための、新しい人間のアイデンティティの動画とアバターを備えたデータセットである。

関連論文リスト

• Object-Centric Action-Enhanced Representations for Robot Visuo-Motor Policy Learning [21.142247150423863]
  本稿では,意味的セグメンテーションと視覚表現生成を結合的に行うオブジェクト中心エンコーダを提案する。 これを実現するために、Slot Attentionメカニズムを活用し、大規模なドメイン外のデータセットで事前訓練されたSOLVモデルを使用する。 我々は、ドメイン外のデータセットで事前トレーニングされたモデルを活用することが、このプロセスの恩恵となり、人間のアクションを描写したデータセットの微調整により、パフォーマンスが大幅に向上することを示した。
  論文  参考訳（メタデータ） (2025-05-27T09:56:52Z)
• NIL: No-data Imitation Learning by Leveraging Pre-trained Video Diffusion Models [36.05972290909729]
  本稿では,2次元映像から3次元モータースキルを学習する技術習得のためのデータ非依存手法を提案する。 ヒューマノイドロボットのタスクにおいて、NIL(No-data Imitation Learning)が3次元モーションキャプチャーデータに基づいてトレーニングされたベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2025-03-13T17:59:24Z)
• HumanVid: Demystifying Training Data for Camera-controllable Human Image Animation [64.37874983401221]
  人間の画像アニメーションに適した,最初の大規模高品質データセットであるHumanVidを紹介する。 実世界のデータについては、インターネットから大量の実世界のビデオをコンパイルします。 合成データとして,10K3Dアバターを収集し,体形,肌のテクスチャ,衣服などの既存の資産を利用した。
  論文  参考訳（メタデータ） (2024-07-24T17:15:58Z)
• Learning an Actionable Discrete Diffusion Policy via Large-Scale Actionless Video Pre-Training [69.54948297520612]
  ジェネラリストの具体化エージェントを学ぶことは、主にアクションラベル付きロボットデータセットの不足に起因して、課題を提起する。 これらの課題に対処するための新しい枠組みを導入し、人間のビデオにおける生成前トレーニングと、少数のアクションラベル付きロボットビデオのポリシー微調整を組み合わせるために、統一された離散拡散を利用する。 提案手法は, 従来の最先端手法と比較して, 高忠実度な今後の計画ビデオを生成し, 細調整されたポリシーを強化する。
  論文  参考訳（メタデータ） (2024-02-22T09:48:47Z)
• Learning Human Action Recognition Representations Without Real Humans [66.61527869763819]
  そこで本研究では,仮想人間を含む合成データを用いて,実世界の映像を活用してモデルを事前学習するベンチマークを提案する。 次に、このデータに基づいて学習した表現を、下流行動認識ベンチマークの様々なセットに転送可能であるかを評価する。 私たちのアプローチは、以前のベースラインを最大5%上回ります。
  論文  参考訳（メタデータ） (2023-11-10T18:38:14Z)
• Efficient Realistic Data Generation Framework leveraging Deep Learning-based Human Digitization [0.0]
  提案手法は、実際の背景画像として入力され、さまざまなポーズで人物を投入する。 対応するタスクのベンチマークと評価は、実データに対する補足として、合成データが効果的に使用できることを示している。
  論文  参考訳（メタデータ） (2021-06-28T08:07:31Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。