論文の概要: SynPlay: Importing Real-world Diversity for a Synthetic Human Dataset

• arxiv url: http://arxiv.org/abs/2408.11814v1
• Date: Wed, 21 Aug 2024 17:58:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 15:58:35.748984
• Title: SynPlay: Importing Real-world Diversity for a Synthetic Human Dataset
• Title（参考訳）: SynPlay: 人間の合成データセットに現実世界の多様性をインポートする
• Authors: Jinsub Yim, Hyungtae Lee, Sungmin Eum, Yi-Ting Shen, Yan Zhang, Heesung Kwon, Shuvra S. Bhattacharyya,
• Abstract要約: SynPlay(シンセティック・プレイグラウンド)は,人間の外見の多様性を現実世界にもたらすことを目的とした,新しい人工人間データセットである。 これまでの作品では見られなかった多様性のレベルを達成するために、現実的な人間の動きとポーズという2つの要素に焦点を当てる。 モデルトレーニングにSynPlayを使用することで,人間の検出とセグメンテーションのための既存の合成データセットよりも精度が向上することを示す。
• 参考スコア（独自算出の注目度）: 19.32308498024933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Synthetic Playground (SynPlay), a new synthetic human dataset that aims to bring out the diversity of human appearance in the real world. We focus on two factors to achieve a level of diversity that has not yet been seen in previous works: i) realistic human motions and poses and ii) multiple camera viewpoints towards human instances. We first use a game engine and its library-provided elementary motions to create games where virtual players can take less-constrained and natural movements while following the game rules (i.e., rule-guided motion design as opposed to detail-guided design). We then augment the elementary motions with real human motions captured with a motion capture device. To render various human appearances in the games from multiple viewpoints, we use seven virtual cameras encompassing the ground and aerial views, capturing abundant aerial-vs-ground and dynamic-vs-static attributes of the scene. Through extensive and carefully-designed experiments, we show that using SynPlay in model training leads to enhanced accuracy over existing synthetic datasets for human detection and segmentation. The benefit of SynPlay becomes even greater for tasks in the data-scarce regime, such as few-shot and cross-domain learning tasks. These results clearly demonstrate that SynPlay can be used as an essential dataset with rich attributes of complex human appearances and poses suitable for model pretraining. SynPlay dataset comprising over 73k images and 6.5M human instances, is available for download at https://synplaydataset.github.io/.
• Abstract（参考訳）: SynPlay(シンセティック・プレイグラウンド)は,人間の外見の多様性を現実世界にもたらすことを目的とした,新しい人工人間データセットである。 我々は、これまでの研究でまだ見られていない多様性のレベルを達成するための2つの要因に焦点を当てている。 一 現実的な人間の動き及びポーズ 二 人間の事例に対する複数のカメラ視点 まず,ゲームエンジンとそのライブラリが提供する基本動作を用いて,ゲームルール(ディテール誘導型デザインとは対照的にルール誘導型モーションデザイン)に従えば,仮想プレイヤーがより制約の少ない自然な動きを取ることができるゲームを作成する。 そして、モーションキャプチャー装置でキャプチャーされた実際の人間の動きで、基本動作を増強する。 複数の視点からゲーム内の様々な人間の外観をレンダリングするために、地上と空中の視界を含む7つの仮想カメラを使用し、シーンの豊富な空対地と動的対地特性をキャプチャする。 モデルトレーニングにSynPlayを用いることで、人間の検出とセグメンテーションのための既存の合成データセットよりも精度が向上することを示す。 SynPlayの利点は、少数ショットやクロスドメイン学習タスクなど、データスカース方式のタスクにとってさらに大きくなります。 これらの結果は、SynPlayが複雑な人間の外見の豊富な属性を持ち、モデル事前学習に適したポーズを持つ重要なデータセットとして利用できることを明らかに示している。 73k以上のイメージと6.5万のヒューマンインスタンスからなるSynPlayデータセットはhttps://synplaydataset.github.io/でダウンロードできる。

関連論文リスト

• HumanVid: Demystifying Training Data for Camera-controllable Human Image Animation [64.37874983401221]
  人間の画像アニメーションに適した,最初の大規模高品質データセットであるHumanVidを紹介する。 実世界のデータについては、インターネットから大量の実世界のビデオをコンパイルします。 合成データとして,10K3Dアバターを収集し,体形,肌のテクスチャ,衣服などの既存の資産を利用した。
  論文  参考訳（メタデータ） (2024-07-24T17:15:58Z)
• Learning Human Action Recognition Representations Without Real Humans [66.61527869763819]
  そこで本研究では,仮想人間を含む合成データを用いて,実世界の映像を活用してモデルを事前学習するベンチマークを提案する。 次に、このデータに基づいて学習した表現を、下流行動認識ベンチマークの様々なセットに転送可能であるかを評価する。 私たちのアプローチは、以前のベースラインを最大5%上回ります。
  論文  参考訳（メタデータ） (2023-11-10T18:38:14Z)
• SynH2R: Synthesizing Hand-Object Motions for Learning Human-to-Robot Handovers [37.49601724575655]
  視覚に基づく人間とロボットのハンドオーバは、人間とロボットのインタラクションにおいて重要かつ困難なタスクである。 本稿では,ロボットの訓練に適した人間のつかみ動作を生成するためのフレームワークを提案する。 これにより、以前の作業よりも100倍多くのオブジェクトで、総合的なトレーニングとテストデータを生成することができます。
  論文  参考訳（メタデータ） (2023-11-09T18:57:02Z)
• Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
  商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。 本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。 アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
  論文  参考訳（メタデータ） (2023-07-04T21:57:05Z)
• CIRCLE: Capture In Rich Contextual Environments [69.97976304918149]
  そこで我々は,アクターが仮想世界において知覚し,操作する新たな動き獲得システムを提案する。 9つのシーンにわたる5人の被験者から10時間のフルボディ到達動作を含むデータセットであるCIRCLEを提示する。 このデータセットを用いて、シーン情報に基づいて人間の動きを生成するモデルを訓練する。
  論文  参考訳（メタデータ） (2023-03-31T09:18:12Z)
• IMoS: Intent-Driven Full-Body Motion Synthesis for Human-Object Interactions [69.95820880360345]
  そこで本研究では,仮想人物の全身動作を3Dオブジェクトで合成する最初のフレームワークを提案する。 本システムでは,オブジェクトと仮想文字の関連意図を入力テキストとして記述する。 その結果, 80%以上のシナリオにおいて, 合成された全身運動は参加者よりリアルに見えることがわかった。
  論文  参考訳（メタデータ） (2022-12-14T23:59:24Z)
• HSPACE: Synthetic Parametric Humans Animated in Complex Environments [67.8628917474705]
  我々は、複雑な屋内および屋外環境に置かれたアニメーション人間による大規模な写真リアルデータセット、Human-SPACEを構築した。 年齢、性別、比率、民族性の異なる数百の個人と数百の動きとシーンを組み合わせて、100万フレームを超える最初のデータセットを生成します。 アセットは大規模に自動生成され、既存のリアルタイムレンダリングやゲームエンジンと互換性がある。
  論文  参考訳（メタデータ） (2021-12-23T22:27:55Z)
• Stochastic Scene-Aware Motion Prediction [41.6104600038666]
  本稿では,対象物に対して所定の動作を行う異なるスタイルをモデル化する,データ駆動合成動作法を提案する。 SAMP (Scene Aware Motion Prediction) と呼ばれる本手法は, 様々なジオメトリ対象を対象とし, キャラクタが散らばったシーンで移動できるように一般化する。
  論文  参考訳（メタデータ） (2021-08-18T17:56:17Z)
• Synthesizing Long-Term 3D Human Motion and Interaction in 3D Scenes [27.443701512923177]
  人間のモーション合成とシーンアレイアンス推論を橋渡しすることを提案する。 本研究では,3次元シーン構造上での長期人間の動作条件を合成する階層的生成フレームワークを提案する。 実験では,自然および物理的に再現可能な人間の動きをシーン内で生成する従来の手法よりも大幅に改善した。
  論文  参考訳（メタデータ） (2020-12-10T09:09:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。