論文の概要: Meta-Sim2: Unsupervised Learning of Scene Structure for Synthetic Data
Generation
- arxiv url: http://arxiv.org/abs/2008.09092v1
- Date: Thu, 20 Aug 2020 17:28:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 03:23:50.876527
- Title: Meta-Sim2: Unsupervised Learning of Scene Structure for Synthetic Data
Generation
- Title(参考訳): Meta-Sim2: 合成データ生成のためのシーン構造の教師なし学習
- Authors: Jeevan Devaranjan, Amlan Kar, Sanja Fidler
- Abstract要約: Meta-Sim2では,パラメータに加えてシーン構造を学習することを目指している。
強化学習(Reinforcement Learning)を使用してモデルをトレーニングし、トレーニング成功の鍵となる合成画像とターゲット画像の間に特徴空間のばらつきを設計する。
また,この手法は,他のベースラインシミュレーション手法と対照的に,生成したデータセット上でトレーニングしたオブジェクト検出器の性能を下流で向上させることを示す。
- 参考スコア(独自算出の注目度): 88.04759848307687
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Procedural models are being widely used to synthesize scenes for graphics,
gaming, and to create (labeled) synthetic datasets for ML. In order to produce
realistic and diverse scenes, a number of parameters governing the procedural
models have to be carefully tuned by experts. These parameters control both the
structure of scenes being generated (e.g. how many cars in the scene), as well
as parameters which place objects in valid configurations. Meta-Sim aimed at
automatically tuning parameters given a target collection of real images in an
unsupervised way. In Meta-Sim2, we aim to learn the scene structure in addition
to parameters, which is a challenging problem due to its discrete nature.
Meta-Sim2 proceeds by learning to sequentially sample rule expansions from a
given probabilistic scene grammar. Due to the discrete nature of the problem,
we use Reinforcement Learning to train our model, and design a feature space
divergence between our synthesized and target images that is key to successful
training. Experiments on a real driving dataset show that, without any
supervision, we can successfully learn to generate data that captures discrete
structural statistics of objects, such as their frequency, in real images. We
also show that this leads to downstream improvement in the performance of an
object detector trained on our generated dataset as opposed to other baseline
simulation methods. Project page:
https://nv-tlabs.github.io/meta-sim-structure/.
- Abstract(参考訳): プロシージャモデルは、グラフィックスやゲームのためのシーンの合成や、mlのための(ラベル付き)合成データセットの作成に広く使われている。
現実的で多様なシーンを生成するためには、プロシージャモデルを管理する多くのパラメータを専門家が慎重に調整する必要がある。
これらのパラメータは、生成されるシーンの構造(例えばシーン内の車両の数)と、オブジェクトを有効な構成に配置するパラメータの両方を制御する。
Meta-Simは、教師なしの方法で実際の画像のターゲットコレクションが与えられたパラメータを自動的にチューニングすることを目的としている。
Meta-Sim2では,パラメータに加えてシーン構造を学習することを目指している。
Meta-Sim2は、与えられた確率的シーン文法から規則拡張を逐次サンプリングすることを学ぶ。
この問題の離散的な性質から、強化学習を用いてモデルをトレーニングし、トレーニングを成功させる鍵となる合成画像と対象画像の間に特徴空間のばらつきを設計する。
実際の運転データセットの実験では、監督なしに、実際の画像において、その周波数などのオブジェクトの離散的な構造統計をキャプチャするデータを生成することができる。
また,この手法は,他のベースラインシミュレーション手法と対照的に,生成したデータセット上でトレーニングしたオブジェクト検出器の性能を下流で向上させることを示す。
プロジェクトページ: https://nv-tlabs.github.io/meta-sim-structure/
関連論文リスト
- Close the Sim2real Gap via Physically-based Structured Light Synthetic Data Simulation [16.69742672616517]
我々は、RGBと物理的にリアルな深度画像を生成する革新的な構造化光シミュレーションシステムを導入する。
ロボット産業の把握シナリオに適したRGBDデータセットを作成します。
sim2realのギャップを減らし、深層学習訓練を強化することにより、深層学習モデルを産業環境に適用しやすくする。
論文 参考訳(メタデータ) (2024-07-17T09:57:14Z) - URDFormer: A Pipeline for Constructing Articulated Simulation Environments from Real-World Images [39.0780707100513]
そこで本研究では,実世界の画像からキネマティック構造と動的構造を合成したシミュレーションシーンを生成するエンドツーエンドパイプラインを提案する。
そこで本研究は,大規模シミュレーション環境のためのパイプラインと,ロバストなロボット制御ポリシをトレーニングするための統合システムの両方を提供する。
論文 参考訳(メタデータ) (2024-05-19T20:01:29Z) - Learning from synthetic data generated with GRADE [0.6982738885923204]
本稿では,ロボット工学研究のための現実的なアニメーション動的環境(GRADE)を作成するためのフレームワークを提案する。
GRADEは、完全なシミュレーション制御、ROS統合、現実物理学をサポートし、高い視覚的忠実度画像と地上真実データを生成するエンジン内にある。
合成データのみを用いてトレーニングしても、同一のアプリケーション領域における実世界の画像によく当てはまることを示す。
論文 参考訳(メタデータ) (2023-05-07T14:13:04Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳(メタデータ) (2022-08-16T20:46:08Z) - Towards 3D Scene Understanding by Referring Synthetic Models [65.74211112607315]
メソッドは通常、実際のシーンスキャンにおける過剰なアノテーションを緩和する。
合成モデルは、合成特徴の実際のシーンカテゴリを、統一された特徴空間にどのように依存するかを考察する。
実験の結果,ScanNet S3DISデータセットの平均mAPは46.08%,学習データセットは55.49%であった。
論文 参考訳(メタデータ) (2022-03-20T13:06:15Z) - Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。
NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。
提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
論文 参考訳(メタデータ) (2022-02-24T01:31:29Z) - Task2Sim : Towards Effective Pre-training and Transfer from Synthetic
Data [74.66568380558172]
本稿では,グラフィックスシミュレータから下流タスクへの合成データに基づく事前学習モデルの転送可能性について検討する。
本稿では、最適なシミュレーションパラメータに対する下流タスク表現を統一したモデルマッピングであるTask2Simを紹介する。
このマッピングはトレーニングによって学習し、"見える"タスクのセットで最適なパラメータのセットを見つける。
トレーニングが完了すると、ワンショットで新しい"見えない"タスクの最適なシミュレーションパラメータを予測するために使用することができる。
論文 参考訳(メタデータ) (2021-11-30T19:25:27Z) - RELATE: Physically Plausible Multi-Object Scene Synthesis Using
Structured Latent Spaces [77.07767833443256]
RELATEは、複数の対話オブジェクトの物理的に可視なシーンとビデオを生成することを学習するモデルである。
オブジェクト中心生成モデリングにおける最先端の手法とは対照的に、RELATEは自然に動的なシーンに拡張し、高い視覚的忠実度のビデオを生成する。
論文 参考訳(メタデータ) (2020-07-02T17:27:27Z) - Learning to simulate complex scenes [18.51564016785853]
本稿では,意味的セグメンテーションの文脈におけるコンテンツ適応について考察する。
本稿では、属性値の最適化と、実世界のデータと類似したコンテンツのトレーニングセットを得るために、スケーラブルな離散化・緩和(SDR)アプローチを提案する。
実験により,本システムは合理的かつ有用なシーンを生成でき,そこから有望な実世界のセグメンテーション精度を得ることができた。
論文 参考訳(メタデータ) (2020-06-25T17:51:34Z) - Stillleben: Realistic Scene Synthesis for Deep Learning in Robotics [33.30312206728974]
本稿では,シーン認識タスクの学習データを生成するための合成パイプラインについて述べる。
本手法は,物理シミュレーションを用いて,物体メッシュを物理的に現実的で密集したシーンに配置する。
私たちのパイプラインは、ディープニューラルネットワークのトレーニング中にオンラインで実行できます。
論文 参考訳(メタデータ) (2020-05-12T10:11:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。