論文の概要: BEDLAM: A Synthetic Dataset of Bodies Exhibiting Detailed Lifelike Animated Motion

• arxiv url: http://arxiv.org/abs/2306.16940v1
• Date: Thu, 29 Jun 2023 13:35:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-30 13:06:53.741425
• Title: BEDLAM: A Synthetic Dataset of Bodies Exhibiting Detailed Lifelike Animated Motion
• Title（参考訳）: BEDLAM: 詳細なライフライクなアニメーションモーションを展示する身体の合成データセット
• Authors: Michael J. Black, Priyanka Patel, Joachim Tesch, Jinlong Yang
• Abstract要約: 合成データのみに基づいてトレーニングされたニューラルネットワークは、実際の画像から3次元人間のポーズと形状推定の問題に対して最先端の精度が得られることを示す。 以前の合成データセットは小さく、非現実的で、現実的な衣服が欠けていた。
• 参考スコア（独自算出の注目度）: 52.11972919802401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show, for the first time, that neural networks trained only on synthetic data achieve state-of-the-art accuracy on the problem of 3D human pose and shape (HPS) estimation from real images. Previous synthetic datasets have been small, unrealistic, or lacked realistic clothing. Achieving sufficient realism is non-trivial and we show how to do this for full bodies in motion. Specifically, our BEDLAM dataset contains monocular RGB videos with ground-truth 3D bodies in SMPL-X format. It includes a diversity of body shapes, motions, skin tones, hair, and clothing. The clothing is realistically simulated on the moving bodies using commercial clothing physics simulation. We render varying numbers of people in realistic scenes with varied lighting and camera motions. We then train various HPS regressors using BEDLAM and achieve state-of-the-art accuracy on real-image benchmarks despite training with synthetic data. We use BEDLAM to gain insights into what model design choices are important for accuracy. With good synthetic training data, we find that a basic method like HMR approaches the accuracy of the current SOTA method (CLIFF). BEDLAM is useful for a variety of tasks and all images, ground truth bodies, 3D clothing, support code, and more are available for research purposes. Additionally, we provide detailed information about our synthetic data generation pipeline, enabling others to generate their own datasets. See the project page: https://bedlam.is.tue.mpg.de/.
• Abstract（参考訳）: 本研究では,合成データのみを訓練したニューラルネットワークが,実画像からの3次元人物ポーズ・形状推定(hps)の問題に対して最先端の精度を達成することを初めて示す。 以前の合成データセットは小さく、非現実的で、現実的な衣服が欠けていた。 十分な現実性を達成することは簡単ではなく、運動中の全身に対してこれをどのように行うかを示す。 具体的には, BEDLAMデータセットは, SMPL-Xフォーマットの地上3次元物体を用いた単眼RGBビデオを含む。 体型、動き、肌の色、髪、衣服など様々な種類がある。 衣服は、市販の衣服物理シミュレーションを用いて移動体上で現実的にシミュレーションされる。 私たちは、様々な照明とカメラの動きで、リアルなシーンでさまざまな数の人々を描きます。 次に,様々なhpsレグレプタをbedlamを用いてトレーニングし,合成データを用いたトレーニングにもかかわらず,実画像ベンチマークで最先端の精度を得る。 BEDLAMを使用して、モデル設計の選択が正確性に重要であるかを理解する。 優れた総合訓練データにより,HMRのような基本手法が現在のSOTA法(CLIFF)の精度に近づくことが判明した。 BEDLAMは様々なタスクに役立ち、すべての画像、地上の真実の体、3D衣服、サポートコードなどの研究目的に利用できる。 さらに、合成データ生成パイプラインに関する詳細な情報を提供し、他の人が独自のデータセットを生成できるようにする。 https://bedlam.is.tue.mpg.de/. プロジェクトページを参照。

関連論文リスト

• Towards High-Quality 3D Motion Transfer with Realistic Apparel Animation [69.36162784152584]
  本研究では,現実的なアパレルアニメーションを用いた高品質な動き伝達を目的とした新しい手法を提案する。 本稿では,2つのニューラル変形モジュールを介し,物体とアパレルの変形を学習するデータ駆動パイプラインを提案する。 本手法は各種アパレルの品質に優れた結果をもたらす。
  論文  参考訳（メタデータ） (2024-07-15T22:17:35Z)
• VR-based generation of photorealistic synthetic data for training hand-object tracking models [0.0]
  ブレンダー・ホアシンス (blender-hoisynth) は、ブレンダーソフトウェアに基づくインタラクティブな合成データ生成装置である。 ユーザーは標準のバーチャルリアリティハードウェアを使用して、仮想手でオブジェクトと対話することができる。 私たちは、よく知られたDexYCBデータセットのトレーニングデータの大部分をホアシンスデータに置き換え、最先端のHOI再構築モデルをトレーニングします。
  論文  参考訳（メタデータ） (2024-01-31T14:32:56Z)
• Learning from synthetic data generated with GRADE [0.6982738885923204]
  本稿では,ロボット工学研究のための現実的なアニメーション動的環境(GRADE)を作成するためのフレームワークを提案する。 GRADEは、完全なシミュレーション制御、ROS統合、現実物理学をサポートし、高い視覚的忠実度画像と地上真実データを生成するエンジン内にある。 合成データのみを用いてトレーニングしても、同一のアプリケーション領域における実世界の画像によく当てはまることを示す。
  論文  参考訳（メタデータ） (2023-05-07T14:13:04Z)
• CIRCLE: Capture In Rich Contextual Environments [69.97976304918149]
  そこで我々は,アクターが仮想世界において知覚し,操作する新たな動き獲得システムを提案する。 9つのシーンにわたる5人の被験者から10時間のフルボディ到達動作を含むデータセットであるCIRCLEを提示する。 このデータセットを用いて、シーン情報に基づいて人間の動きを生成するモデルを訓練する。
  論文  参考訳（メタデータ） (2023-03-31T09:18:12Z)
• PERGAMO: Personalized 3D Garments from Monocular Video [6.8338761008826445]
  PERGAMOはモノクロ画像から3D衣服の変形可能なモデルを学ぶためのデータ駆動型アプローチである。 まず,1枚の画像から衣服の3次元形状を再構築する新しい手法を紹介し,それを用いて単眼ビデオから衣服のデータセットを構築する。 本手法は,実世界の動作にマッチする衣料アニメーションを作成でき,モーションキャプチャーデータセットから抽出した身体の動きを一般化できることを示す。
  論文  参考訳（メタデータ） (2022-10-26T21:15:54Z)
• Capturing and Animation of Body and Clothing from Monocular Video [105.87228128022804]
  メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。 メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。 本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
  論文  参考訳（メタデータ） (2022-10-04T19:34:05Z)
• AGORA: Avatars in Geography Optimized for Regression Analysis [35.22486186509372]
  AGORAは、高いリアリズムと高精度な地上真実を持つ合成データセットである。 SMPL-Xのボディモデル(顔と手)を3Dスキャンに合わせることで、参照3Dポーズと体形を作成する。 このデータセットを用いて既存の3次元ポーズ推定手法の評価を行い、ほとんどの手法が子供の画像に悪影響を及ぼすことを見出した。
  論文  参考訳（メタデータ） (2021-04-29T20:33:25Z)
• Neural 3D Clothes Retargeting from a Single Image [91.5030622330039]
  本稿では,1枚のRGB画像で人物にフィットする3次元衣料テンプレートモデルの潜在的なポーズと変形を生成する方法を提案する。 この問題は、地上の真実データを取得することは不可能である、すなわち、異なる3D衣料品テンプレートモデルを全く同じポーズで身に着けている人々の画像として、基本的には不適切である。 そこで本研究では,3次元変形の物理的妥当性を検証するための半教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-29T20:50:34Z)
• S3: Neural Shape, Skeleton, and Skinning Fields for 3D Human Modeling [103.65625425020129]
  歩行者の形状、ポーズ、皮膚の重みを、データから直接学習する神経暗黙関数として表現します。 各種データセットに対するアプローチの有効性を実証し,既存の最先端手法よりも再現性が優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-17T02:16:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。