Fugu-MT 論文翻訳(概要): VR-based generation of photorealistic synthetic data for training hand-object tracking models

論文の概要: VR-based generation of photorealistic synthetic data for training hand-object tracking models

arxiv url: http://arxiv.org/abs/2401.17874v2
Date: Fri, 2 Feb 2024 00:21:31 GMT
ステータス: 処理完了
システム内更新日: 2024-02-05 12:02:33.160055
Title: VR-based generation of photorealistic synthetic data for training hand-object tracking models
Title（参考訳）: VRを用いた手動物体追跡モデルの訓練のための光リアル合成データの生成
Authors: Chengyan Zhang, Rahul Chaudhari
Abstract要約: ブレンダー・ホアシンス (blender-hoisynth) は、ブレンダーソフトウェアに基づくインタラクティブな合成データ生成装置である。ユーザーは標準のバーチャルリアリティハードウェアを使用して、仮想手でオブジェクトと対話することができる。私たちは、よく知られたDexYCBデータセットのトレーニングデータの大部分をホアシンスデータに置き換え、最先端のHOI再構築モデルをトレーニングします。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Supervised learning models for precise tracking of hand-object interactions (HOI) in 3D require large amounts of annotated data for training. Moreover, it is not intuitive for non-experts to label 3D ground truth (e.g. 6DoF object pose) on 2D images. To address these issues, we present "blender-hoisynth", an interactive synthetic data generator based on the Blender software. Blender-hoisynth can scalably generate and automatically annotate visual HOI training data. Other competing approaches usually generate synthetic HOI data compeletely without human input. While this may be beneficial in some scenarios, HOI applications inherently necessitate direct control over the HOIs as an expression of human intent. With blender-hoisynth, it is possible for users to interact with objects via virtual hands using standard Virtual Reality hardware. The synthetically generated data are characterized by a high degree of photorealism and contain visually plausible and physically realistic videos of hands grasping objects and moving them around in 3D. To demonstrate the efficacy of our data generation, we replace large parts of the training data in the well-known DexYCB dataset with hoisynth data and train a state-of-the-art HOI reconstruction model with it. We show that there is no significant degradation in the model performance despite the data replacement.
Abstract（参考訳）: 3次元のハンドオブジェクトインタラクション(HOI)を正確に追跡するための教師付き学習モデルは、トレーニングのために大量のアノテートデータを必要とする。さらに、非専門家が2D画像に3D基底真理(例えば6DoFオブジェクトポーズ)をラベル付けるのは直感的ではない。これらの問題に対処するため,Blender ソフトウェアに基づく対話型合成データ生成装置 "blender-hoisynth" を提案する。 Blender-hoisynthは、視覚HOIトレーニングデータを生成し、自動的に注釈付けすることができる。他の競合するアプローチは通常、人間の入力を伴わない合成HOIデータを生成する。これはいくつかのシナリオで有用であるが、HOIアプリケーションは人間の意図の表現としてHOIを直接制御する必要がある。 blender-hoisynthでは、ユーザーは標準的なバーチャルリアリティーハードウェアを使ってバーチャルハンドでオブジェクトと対話することができる。合成されたデータは、高度なフォトリアリズムによって特徴づけられ、視覚的に可視かつ物理的にリアルな映像を含み、物体をつかんで3Dで動き回っている。私たちのデータ生成の有効性を示すために、よく知られたdexycbデータセットのトレーニングデータの大部分をhoisynthデータに置き換え、最先端のhoiリコンストラクションモデルをトレーニングします。データ置換にもかかわらず,モデル性能の大幅な低下は認められていない。

関連論文リスト

Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
論文参考訳（メタデータ） (2024-06-17T07:43:53Z)
HOIDiffusion: Generating Realistic 3D Hand-Object Interaction Data [42.49031063635004]
本研究では,現実的かつ多様な3次元ハンドオブジェクトインタラクションデータを生成するためのHOIDiffusionを提案する。本モデルは,3次元手対象幾何学構造とテキスト記述を画像合成の入力として用いた条件拡散モデルである。生成した3Dデータを6次元オブジェクトのポーズ推定学習に適用し,認識システムの改善に有効であることを示す。
論文参考訳（メタデータ） (2024-03-18T17:48:31Z)
3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models [52.96248836582542]
本稿では,人間の画像とそれに対応する3Dメッシュアノテーションをシームレスに生成できるHumanWildという,最近の拡散モデルに基づく効果的なアプローチを提案する。生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
論文参考訳（メタデータ） (2024-03-17T06:31:16Z)
MACS: Mass Conditioned 3D Hand and Object Motion Synthesis [68.40728343078257]
質量のような物体の物理的性質は、我々の手でそれを操作する方法に大きな影響を与えます。本研究は,MAss Conditioned 3D Hand and Object Motion Synthesis approachを提案する。提案手法は, カスケード拡散モデルに基づいて, 対象質量と相互作用タイプに基づいて, 合理的に調整可能な相互作用を生成する。
論文参考訳（メタデータ） (2023-12-22T18:59:54Z)
BEDLAM: A Synthetic Dataset of Bodies Exhibiting Detailed Lifelike Animated Motion [52.11972919802401]
合成データのみに基づいてトレーニングされたニューラルネットワークは、実際の画像から3次元人間のポーズと形状推定の問題に対して最先端の精度が得られることを示す。以前の合成データセットは小さく、非現実的で、現実的な衣服が欠けていた。
論文参考訳（メタデータ） (2023-06-29T13:35:16Z)
Learning from synthetic data generated with GRADE [0.6982738885923204]
本稿では,ロボット工学研究のための現実的なアニメーション動的環境(GRADE)を作成するためのフレームワークを提案する。 GRADEは、完全なシミュレーション制御、ROS統合、現実物理学をサポートし、高い視覚的忠実度画像と地上真実データを生成するエンジン内にある。合成データのみを用いてトレーニングしても、同一のアプリケーション領域における実世界の画像によく当てはまることを示す。
論文参考訳（メタデータ） (2023-05-07T14:13:04Z)
MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
論文参考訳（メタデータ） (2023-04-17T13:49:04Z)
Hands-Up: Leveraging Synthetic Data for Hands-On-Wheel Detection [0.38233569758620045]
この研究は、ドライバモニタリングシステムのトレーニングに合成フォトリアリスティックインキャビンデータを使用することを実証する。プラットフォームでエラー解析を行い、欠落したエッジケースを生成することで、パフォーマンスが向上することを示す。これは、人間中心の合成データが現実世界にうまく一般化する能力を示している。
論文参考訳（メタデータ） (2022-05-31T23:34:12Z)
Fake It Till You Make It: Face analysis in the wild using synthetic data alone [9.081019005437309]
合成データだけで顔関連コンピュータビジョンを野生で実行可能であることを示す。本稿では、手続き的に生成された3次元顔モデルと手作り資産の包括的ライブラリを組み合わせることで、前例のないリアリズムによるトレーニング画像のレンダリングを行う方法について述べる。
論文参考訳（メタデータ） (2021-09-30T13:07:04Z)
RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
論文参考訳（メタデータ） (2021-08-17T17:56:12Z)
UnrealROX+: An Improved Tool for Acquiring Synthetic Data from Virtual 3D Environments [14.453602631430508]
ロボット画像から合成データを生成するためのツールであるUnrealROXの改良版を紹介します。 UnrealROX+には、Deep Learningフレームワークから仮想環境と対話するalbedoやPython APIを生成する、といった新機能が含まれている。
論文参考訳（メタデータ） (2021-04-23T18:45:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。