論文の概要: Learning from synthetic data generated with GRADE
- arxiv url: http://arxiv.org/abs/2305.04282v2
- Date: Fri, 26 May 2023 09:26:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 20:04:08.803931
- Title: Learning from synthetic data generated with GRADE
- Title(参考訳): GRADEを用いた合成データからの学習
- Authors: Elia Bonetto and Chenghao Xu and Aamir Ahmad
- Abstract要約: 本稿では,ロボット工学研究のための現実的なアニメーション動的環境(GRADE)を作成するためのフレームワークを提案する。
GRADEは、完全なシミュレーション制御、ROS統合、現実物理学をサポートし、高い視覚的忠実度画像と地上真実データを生成するエンジン内にある。
合成データのみを用いてトレーニングしても、同一のアプリケーション領域における実世界の画像によく当てはまることを示す。
- 参考スコア(独自算出の注目度): 0.6982738885923204
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, synthetic data generation and realistic rendering has advanced
tasks like target tracking and human pose estimation. Simulations for most
robotics applications are obtained in (semi)static environments, with specific
sensors and low visual fidelity. To solve this, we present a fully customizable
framework for generating realistic animated dynamic environments (GRADE) for
robotics research, first introduced in [1]. GRADE supports full simulation
control, ROS integration, realistic physics, while being in an engine that
produces high visual fidelity images and ground truth data. We use GRADE to
generate a dataset focused on indoor dynamic scenes with people and flying
objects. Using this, we evaluate the performance of YOLO and Mask R-CNN on the
tasks of segmenting and detecting people. Our results provide evidence that
using data generated with GRADE can improve the model performance when used for
a pre-training step. We also show that, even training using only synthetic
data, can generalize well to real-world images in the same application domain
such as the ones from the TUM-RGBD dataset. The code, results, trained models,
and the generated data are provided as open-source at
https://eliabntt.github.io/grade-rr.
- Abstract(参考訳): 近年、合成データ生成とリアルレンダリングは、目標追跡や人間のポーズ推定といった高度なタスクをこなしている。
ほとんどのロボティクス応用のシミュレーションは、(半)静電環境において、特定のセンサーと低い視力で得られる。
そこで本稿では,ロボット研究のためのリアルなアニメーション動的環境(グレード)を生成するための完全カスタマイズ可能なフレームワークについて紹介する。
GRADEは、完全なシミュレーション制御、ROS統合、現実的な物理をサポートし、高解像度画像と地上真実データを生成するエンジン内にある。
グレードを使って屋内の動的シーンに焦点を当てたデータセットを生成します。
そこで本研究では, YOLO と Mask R-CNN の性能評価を行った。
この結果から,GRADEで生成されたデータを使うことで,事前学習ステップで使用する場合のモデル性能が向上することを示す。
また,合成データのみを用いたトレーニングであっても,TUM-RGBDデータセットのような同一アプリケーション領域における実世界の画像によく対応できることを示す。
コード、結果、トレーニングされたモデル、生成されたデータは、https://eliabntt.github.io/grade-rrでオープンソースとして提供される。
関連論文リスト
- Close the Sim2real Gap via Physically-based Structured Light Synthetic Data Simulation [16.69742672616517]
我々は、RGBと物理的にリアルな深度画像を生成する革新的な構造化光シミュレーションシステムを導入する。
ロボット産業の把握シナリオに適したRGBDデータセットを作成します。
sim2realのギャップを減らし、深層学習訓練を強化することにより、深層学習モデルを産業環境に適用しやすくする。
論文 参考訳(メタデータ) (2024-07-17T09:57:14Z) - VR-based generation of photorealistic synthetic data for training
hand-object tracking models [0.0]
ブレンダー・ホアシンス (blender-hoisynth) は、ブレンダーソフトウェアに基づくインタラクティブな合成データ生成装置である。
ユーザーは標準のバーチャルリアリティハードウェアを使用して、仮想手でオブジェクトと対話することができる。
私たちは、よく知られたDexYCBデータセットのトレーニングデータの大部分をホアシンスデータに置き換え、最先端のHOI再構築モデルをトレーニングします。
論文 参考訳(メタデータ) (2024-01-31T14:32:56Z) - Learning Interactive Real-World Simulators [96.5991333400566]
生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。
シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。
ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
論文 参考訳(メタデータ) (2023-10-09T19:42:22Z) - Development of a Realistic Crowd Simulation Environment for Fine-grained
Validation of People Tracking Methods [0.7223361655030193]
この研究は、群衆シミュレーションの拡張(CrowdSim2)を開発し、人追跡アルゴリズムの適用性を証明する。
シミュレータは非常に人気のあるUnity 3Dエンジンを使用して開発されており、特に環境におけるリアリズムの側面に焦点を当てている。
IOU-Tracker、Deep-Sort、Deep-TAMAという3つのトラッキング手法が生成されたデータセットの検証に使用された。
論文 参考訳(メタデータ) (2023-04-26T09:29:58Z) - Is synthetic data from generative models ready for image recognition? [69.42645602062024]
本研究では,最新のテキスト・画像生成モデルから生成した合成画像が,画像認識タスクにどのように利用できるかを検討した。
本稿では,既存の生成モデルからの合成データの強大さと欠点を示し,認識タスクに合成データを適用するための戦略を提案する。
論文 参考訳(メタデータ) (2022-10-14T06:54:24Z) - Learning to Simulate Realistic LiDARs [66.7519667383175]
リアルLiDARセンサのデータ駆動シミュレーションのためのパイプラインを提案する。
本モデルでは, 透明表面上の落下点などの現実的な効果を符号化できることが示される。
我々は2つの異なるLiDARセンサのモデルを学習し、それに従ってシミュレーションされたLiDARデータを改善する。
論文 参考訳(メタデータ) (2022-09-22T13:12:54Z) - Hands-Up: Leveraging Synthetic Data for Hands-On-Wheel Detection [0.38233569758620045]
この研究は、ドライバモニタリングシステムのトレーニングに合成フォトリアリスティックインキャビンデータを使用することを実証する。
プラットフォームでエラー解析を行い、欠落したエッジケースを生成することで、パフォーマンスが向上することを示す。
これは、人間中心の合成データが現実世界にうまく一般化する能力を示している。
論文 参考訳(メタデータ) (2022-05-31T23:34:12Z) - Towards Optimal Strategies for Training Self-Driving Perception Models
in Simulation [98.51313127382937]
合成ドメインのみにおけるラベルの使用に焦点を当てる。
提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。
マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
論文 参考訳(メタデータ) (2021-11-15T18:37:43Z) - DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。
DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。
実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
論文 参考訳(メタデータ) (2021-04-30T15:30:05Z) - UnrealROX+: An Improved Tool for Acquiring Synthetic Data from Virtual
3D Environments [14.453602631430508]
ロボット画像から合成データを生成するためのツールであるUnrealROXの改良版を紹介します。
UnrealROX+には、Deep Learningフレームワークから仮想環境と対話するalbedoやPython APIを生成する、といった新機能が含まれている。
論文 参考訳(メタデータ) (2021-04-23T18:45:42Z) - Meta-Sim2: Unsupervised Learning of Scene Structure for Synthetic Data
Generation [88.04759848307687]
Meta-Sim2では,パラメータに加えてシーン構造を学習することを目指している。
強化学習(Reinforcement Learning)を使用してモデルをトレーニングし、トレーニング成功の鍵となる合成画像とターゲット画像の間に特徴空間のばらつきを設計する。
また,この手法は,他のベースラインシミュレーション手法と対照的に,生成したデータセット上でトレーニングしたオブジェクト検出器の性能を下流で向上させることを示す。
論文 参考訳(メタデータ) (2020-08-20T17:28:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。