論文の概要: VR-based generation of photorealistic synthetic data for training
hand-object tracking models
- arxiv url: http://arxiv.org/abs/2401.17874v2
- Date: Fri, 2 Feb 2024 00:21:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 12:02:33.160055
- Title: VR-based generation of photorealistic synthetic data for training
hand-object tracking models
- Title(参考訳): VRを用いた手動物体追跡モデルの訓練のための光リアル合成データの生成
- Authors: Chengyan Zhang, Rahul Chaudhari
- Abstract要約: ブレンダー・ホアシンス (blender-hoisynth) は、ブレンダーソフトウェアに基づくインタラクティブな合成データ生成装置である。
ユーザーは標準のバーチャルリアリティハードウェアを使用して、仮想手でオブジェクトと対話することができる。
私たちは、よく知られたDexYCBデータセットのトレーニングデータの大部分をホアシンスデータに置き換え、最先端のHOI再構築モデルをトレーニングします。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Supervised learning models for precise tracking of hand-object interactions
(HOI) in 3D require large amounts of annotated data for training. Moreover, it
is not intuitive for non-experts to label 3D ground truth (e.g. 6DoF object
pose) on 2D images. To address these issues, we present "blender-hoisynth", an
interactive synthetic data generator based on the Blender software.
Blender-hoisynth can scalably generate and automatically annotate visual HOI
training data. Other competing approaches usually generate synthetic HOI data
compeletely without human input. While this may be beneficial in some
scenarios, HOI applications inherently necessitate direct control over the HOIs
as an expression of human intent. With blender-hoisynth, it is possible for
users to interact with objects via virtual hands using standard Virtual Reality
hardware. The synthetically generated data are characterized by a high degree
of photorealism and contain visually plausible and physically realistic videos
of hands grasping objects and moving them around in 3D. To demonstrate the
efficacy of our data generation, we replace large parts of the training data in
the well-known DexYCB dataset with hoisynth data and train a state-of-the-art
HOI reconstruction model with it. We show that there is no significant
degradation in the model performance despite the data replacement.
- Abstract(参考訳): 3次元のハンドオブジェクトインタラクション(HOI)を正確に追跡するための教師付き学習モデルは、トレーニングのために大量のアノテートデータを必要とする。
さらに、非専門家が2D画像に3D基底真理(例えば6DoFオブジェクトポーズ)をラベル付けるのは直感的ではない。
これらの問題に対処するため,Blender ソフトウェアに基づく対話型合成データ生成装置 "blender-hoisynth" を提案する。
Blender-hoisynthは、視覚HOIトレーニングデータを生成し、自動的に注釈付けすることができる。
他の競合するアプローチは通常、人間の入力を伴わない合成HOIデータを生成する。
これはいくつかのシナリオで有用であるが、HOIアプリケーションは人間の意図の表現としてHOIを直接制御する必要がある。
blender-hoisynthでは、ユーザーは標準的なバーチャルリアリティーハードウェアを使ってバーチャルハンドでオブジェクトと対話することができる。
合成されたデータは、高度なフォトリアリズムによって特徴づけられ、視覚的に可視かつ物理的にリアルな映像を含み、物体をつかんで3Dで動き回っている。
私たちのデータ生成の有効性を示すために、よく知られたdexycbデータセットのトレーニングデータの大部分をhoisynthデータに置き換え、最先端のhoiリコンストラクションモデルをトレーニングします。
データ置換にもかかわらず,モデル性能の大幅な低下は認められていない。
関連論文リスト
- MACS: Mass Conditioned 3D Hand and Object Motion Synthesis [68.40728343078257]
質量のような物体の物理的性質は、我々の手でそれを操作する方法に大きな影響を与えます。
本研究は,MAss Conditioned 3D Hand and Object Motion Synthesis approachを提案する。
提案手法は, カスケード拡散モデルに基づいて, 対象質量と相互作用タイプに基づいて, 合理的に調整可能な相互作用を生成する。
論文 参考訳(メタデータ) (2023-12-22T18:59:54Z) - AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。
3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。
次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
論文 参考訳(メタデータ) (2023-07-07T17:59:14Z) - BEDLAM: A Synthetic Dataset of Bodies Exhibiting Detailed Lifelike
Animated Motion [52.11972919802401]
合成データのみに基づいてトレーニングされたニューラルネットワークは、実際の画像から3次元人間のポーズと形状推定の問題に対して最先端の精度が得られることを示す。
以前の合成データセットは小さく、非現実的で、現実的な衣服が欠けていた。
論文 参考訳(メタデータ) (2023-06-29T13:35:16Z) - Learning from synthetic data generated with GRADE [0.6982738885923204]
本稿では,ロボット工学研究のための現実的なアニメーション動的環境(GRADE)を作成するためのフレームワークを提案する。
GRADEは、完全なシミュレーション制御、ROS統合、現実物理学をサポートし、高い視覚的忠実度画像と地上真実データを生成するエンジン内にある。
合成データのみを用いてトレーニングしても、同一のアプリケーション領域における実世界の画像によく当てはまることを示す。
論文 参考訳(メタデータ) (2023-05-07T14:13:04Z) - MoDA: Modeling Deformable 3D Objects from Casual Videos [62.92182845878669]
カジュアルビデオから変形可能な3Dオブジェクトをモデリングする際の課題に焦点をあてる。
最近の研究は、標準-観測変換を達成するために線形ブレンドスキン(LBS)に依存している。
ニューラル双対四元混合スキン(NeuDBS)を用いて3次元点変形を実現する。
論文 参考訳(メタデータ) (2023-04-17T13:49:04Z) - Hands-Up: Leveraging Synthetic Data for Hands-On-Wheel Detection [0.38233569758620045]
この研究は、ドライバモニタリングシステムのトレーニングに合成フォトリアリスティックインキャビンデータを使用することを実証する。
プラットフォームでエラー解析を行い、欠落したエッジケースを生成することで、パフォーマンスが向上することを示す。
これは、人間中心の合成データが現実世界にうまく一般化する能力を示している。
論文 参考訳(メタデータ) (2022-05-31T23:34:12Z) - Learning Dense Correspondence from Synthetic Environments [27.841736037738286]
既存の方法では、実際の2D画像に手動でラベル付けされた人間のピクセルを3D表面にマッピングする。
本稿では,自動生成合成データを用いた2次元3次元人物マッピングアルゴリズムの訓練により,データ不足の問題を解決することを提案する。
論文 参考訳(メタデータ) (2022-03-24T08:13:26Z) - Fake It Till You Make It: Face analysis in the wild using synthetic data
alone [9.081019005437309]
合成データだけで顔関連コンピュータビジョンを野生で実行可能であることを示す。
本稿では、手続き的に生成された3次元顔モデルと手作り資産の包括的ライブラリを組み合わせることで、前例のないリアリズムによるトレーニング画像のレンダリングを行う方法について述べる。
論文 参考訳(メタデータ) (2021-09-30T13:07:04Z) - RandomRooms: Unsupervised Pre-training from Synthetic Shapes and
Randomized Layouts for 3D Object Detection [138.2892824662943]
有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。
最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。
本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:56:12Z) - UnrealROX+: An Improved Tool for Acquiring Synthetic Data from Virtual
3D Environments [14.453602631430508]
ロボット画像から合成データを生成するためのツールであるUnrealROXの改良版を紹介します。
UnrealROX+には、Deep Learningフレームワークから仮想環境と対話するalbedoやPython APIを生成する、といった新機能が含まれている。
論文 参考訳(メタデータ) (2021-04-23T18:45:42Z) - S3: Neural Shape, Skeleton, and Skinning Fields for 3D Human Modeling [103.65625425020129]
歩行者の形状、ポーズ、皮膚の重みを、データから直接学習する神経暗黙関数として表現します。
各種データセットに対するアプローチの有効性を実証し,既存の最先端手法よりも再現性が優れていることを示す。
論文 参考訳(メタデータ) (2021-01-17T02:16:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。