論文の概要: Learning to simulate complex scenes
- arxiv url: http://arxiv.org/abs/2006.14611v1
- Date: Thu, 25 Jun 2020 17:51:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 04:16:05.320000
- Title: Learning to simulate complex scenes
- Title（参考訳）: 複雑なシーンをシミュレートする学習
- Authors: Zhenfeng Xue, Weijie Mao, Liang Zheng
- Abstract要約: 本稿では,意味的セグメンテーションの文脈におけるコンテンツ適応について考察する。
本稿では、属性値の最適化と、実世界のデータと類似したコンテンツのトレーニングセットを得るために、スケーラブルな離散化・緩和(SDR)アプローチを提案する。
実験により,本システムは合理的かつ有用なシーンを生成でき,そこから有望な実世界のセグメンテーション精度を得ることができた。
- 参考スコア（独自算出の注目度）: 18.51564016785853
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data simulation engines like Unity are becoming an increasingly important
data source that allows us to acquire ground truth labels conveniently.
Moreover, we can flexibly edit the content of an image in the engine, such as
objects (position, orientation) and environments (illumination, occlusion).
When using simulated data as training sets, its editable content can be
leveraged to mimic the distribution of real-world data, and thus reduce the
content difference between the synthetic and real domains. This paper explores
content adaptation in the context of semantic segmentation, where the complex
street scenes are fully synthesized using 19 classes of virtual objects from a
first person driver perspective and controlled by 23 attributes. To optimize
the attribute values and obtain a training set of similar content to real-world
data, we propose a scalable discretization-and-relaxation (SDR) approach. Under
a reinforcement learning framework, we formulate attribute optimization as a
random-to-optimized mapping problem using a neural network. Our method has
three characteristics. 1) Instead of editing attributes of individual objects,
we focus on global attributes that have large influence on the scene structure,
such as object density and illumination. 2) Attributes are quantized to
discrete values, so as to reduce search space and training complexity. 3)
Correlated attributes are jointly optimized in a group, so as to avoid
meaningless scene structures and find better convergence points. Experiment
shows our system can generate reasonable and useful scenes, from which we
obtain promising real-world segmentation accuracy compared with existing
synthetic training sets.
- Abstract（参考訳）: Unityのようなデータシミュレーションエンジンはますます重要なデータソースになりつつある。
さらに,オブジェクト(位置,方向)や環境(照明,咬合)など,エンジン内の画像の内容を柔軟に編集することができる。
シミュレーションデータをトレーニングセットとして使用する場合、その編集可能なコンテンツを利用して実世界のデータの分布を模倣し、合成ドメインと実ドメインのコンテンツ差を低減することができる。
本稿では, 複雑な街路シーンを, 一人称運転者の視点から19種類の仮想オブジェクトを用いて完全に合成し, 23の属性で制御するセグメンテーションの文脈におけるコンテンツ適応について検討する。
属性値を最適化し、実世界のデータと類似したコンテンツのトレーニングセットを得るために、スケーラブルな離散化・相対化(SDR)アプローチを提案する。
強化学習フレームワークでは,ニューラルネットワークを用いたランダム・最適マッピング問題として属性最適化を定式化する。
我々の方法には3つの特徴がある。
1)個々のオブジェクトの属性を編集する代わりに,オブジェクト密度や照明といったシーン構造に大きな影響を与えるグローバル属性に焦点を当てる。
2) 属性を離散値に量子化し, 探索空間を減らし, 学習の複雑さを訓練する。
3) 関連属性をグループで共同最適化することにより,無意味なシーン構造を回避し,より良い収束点を求める。
実験により,本システムは合理的かつ有用なシーンを生成できることが示され,既存の合成トレーニングセットと比較して,実世界のセグメンテーションの精度が期待できる。
関連論文リスト
- Hardness-Aware Scene Synthesis for Semi-Supervised 3D Object Detection [59.33188668341604]
3次元物体検出は、自律運転知覚の基本的なタスクとして機能する。
ポイントクラウドデータのための高品質なアノテーションを得るためには、コストがかかる。
本稿では,適応型合成シーンを生成するために,ハードネス対応シーン合成(HASS)手法を提案する。
論文 参考訳（メタデータ） (2024-05-27T17:59:23Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳（メタデータ） (2022-08-16T20:46:08Z) - Towards Scale Consistent Monocular Visual Odometry by Learning from the
Virtual World [83.36195426897768]
仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。
まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。
結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
論文 参考訳（メタデータ） (2022-03-11T01:51:54Z) - Attribute Descent: Simulating Object-Centric Datasets on the Content
Level and Beyond [17.949962340691673]
合成と現実の間には、コンテンツレベルと外観レベルを含む2段階のドメインギャップが存在する。
本稿では,エンジン属性を自動的に最適化し,実世界のデータに近い合成データを実現する属性降下手法を提案する。
画像分類とオブジェクト再同定の実験により、適応された合成データが3つのシナリオで効果的に利用できることを確認した。
論文 参考訳（メタデータ） (2022-02-28T18:58:05Z) - Sim2Real Object-Centric Keypoint Detection and Description [40.58367357980036]
キーポイントの検出と記述はコンピュータビジョンにおいて中心的な役割を果たす。
対象中心の定式化を提案し、各関心点が属する対象をさらに特定する必要がある。
我々はシミュレーションで訓練されたモデルを現実のアプリケーションに一般化できるsim2realコントラスト学習機構を開発した。
論文 参考訳（メタデータ） (2022-02-01T15:00:20Z) - Towards Optimal Strategies for Training Self-Driving Perception Models
in Simulation [98.51313127382937]
合成ドメインのみにおけるラベルの使用に焦点を当てる。
提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。
マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
論文 参考訳（メタデータ） (2021-11-15T18:37:43Z) - Synthetic Data Are as Good as the Real for Association Knowledge
Learning in Multi-object Tracking [19.772968520292345]
本稿では,3次元合成データが実世界のビデオに取って代わってアソシエーショントレーニングを行うことができるかどうかを考察する。
具体的には,MOTXと呼ばれる大規模合成データエンジンを導入し,カメラや物体の運動特性を実世界のデータセットに類似するように手動で設定する。
実データと比較すると、合成データから得られた関連知識は、ドメイン適応技術なしで実世界のテストセット上で非常によく似た性能が得られることを示す。
論文 参考訳（メタデータ） (2021-06-30T14:46:36Z) - Meta-Sim2: Unsupervised Learning of Scene Structure for Synthetic Data
Generation [88.04759848307687]
Meta-Sim2では,パラメータに加えてシーン構造を学習することを目指している。
強化学習(Reinforcement Learning)を使用してモデルをトレーニングし、トレーニング成功の鍵となる合成画像とターゲット画像の間に特徴空間のばらつきを設計する。
また,この手法は,他のベースラインシミュレーション手法と対照的に,生成したデータセット上でトレーニングしたオブジェクト検出器の性能を下流で向上させることを示す。
論文 参考訳（メタデータ） (2020-08-20T17:28:45Z) - Detection and Segmentation of Custom Objects using High Distraction
Photorealistic Synthetic Data [0.5076419064097732]
合成データを用いてインスタンスセグメンテーションを行うための簡便で有用な手法を示す。
目標は、カスタムオブジェクトの実際のデータを手動で収集し、注釈付けすることで、高いパフォーマンスを達成することである。
このホワイトペーパーは、光実写シミュレーションデータが現実の応用に利用できるという強い証拠を提供する。
論文 参考訳（メタデータ） (2020-07-28T16:33:42Z) - AI Playground: Unreal Engine-based Data Ablation Tool for Deep Learning [0.0]
機械学習はデータを必要とするが、実際のデータの取得とラベル付けは困難であり、高価であり、時間を要する。
仮想画像データの生成とラベル付けを行うオープンソースUnreal EngineベースのツールであるAI Playground(AIP)を紹介する。
私たちはディープニューラルネットワークをトレーニングし、深さ値、表面正規値、またはオブジェクトラベルを予測し、各ネットワークのイントラおよびクロスデータセットのパフォーマンスを評価しました。
論文 参考訳（メタデータ） (2020-07-13T02:04:39Z) - iFAN: Image-Instance Full Alignment Networks for Adaptive Object
Detection [48.83883375118966]
iFANは、イメージレベルとインスタンスレベルの両方で、機能の分散を正確に調整することを目的としている。
ソースのみのベースライン上で10%以上のAPで、最先端のメソッドよりも優れています。
論文 参考訳（メタデータ） (2020-03-09T13:27:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。