論文の概要: GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition
- arxiv url: http://arxiv.org/abs/2101.06543v1
- Date: Sat, 16 Jan 2021 23:00:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-28 04:34:44.360447
- Title: GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition
- Title（参考訳）: geosim:幾何認識合成によるフォトリアリスティック画像シミュレーション
- Authors: Yun Chen, Frieda Rong, Shivam Duggal, Shenlong Wang, Xinchen Yan,
Sivabalan Manivasagam, Shangjie Xue, Ersin Yumer, Raquel Urtasun
- Abstract要約: GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。
まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。
得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
- 参考スコア（独自算出の注目度）: 81.24107630746508
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scalable sensor simulation is an important yet challenging open problem for
safety-critical domains such as self-driving. Current work in image simulation
either fail to be photorealistic or do not model the 3D environment and the
dynamic objects within, losing high-level control and physical realism. In this
paper, we present GeoSim, a geometry-aware image composition process that
synthesizes novel urban driving scenes by augmenting existing images with
dynamic objects extracted from other scenes and rendered at novel poses.
Towards this goal, we first build a diverse bank of 3D objects with both
realistic geometry and appearance from sensor data. During simulation, we
perform a novel geometry-aware simulation-by-composition procedure which 1)
proposes plausible and realistic object placements into a given scene, 2)
renders novel views of dynamic objects from the asset bank, and 3) composes and
blends the rendered image segments. The resulting synthetic images are
photorealistic, traffic-aware, and geometrically consistent, allowing image
simulation to scale to complex use cases. We demonstrate two such important
applications: long-range realistic video simulation across multiple camera
sensors, and synthetic data generation for data augmentation on downstream
segmentation tasks.
- Abstract（参考訳）: スケーラブルなセンサシミュレーションは、自動運転のような安全クリティカルなドメインにとって、重要かつ挑戦的なオープン問題である。
画像シミュレーションにおける現在の作業は、フォトリアリスティックであるか、3次元環境と内部の動的オブジェクトをモデル化せず、高レベルな制御と物理リアリズムを失う。
本稿では,既存の映像を他のシーンから抽出し,新しいポーズで描画することで,新しい都市走行シーンを合成する幾何学的画像合成プロセスであるGeoSimを提案する。
この目標に向けて、私たちはまず、現実的な幾何学とセンサーデータからの外観の両方を持つ多様な3Dオブジェクトのバンクを構築します。
シミュレーションでは,1)所定のシーンに可塑性で現実的な物体配置を提案し,2)アセットバンクから動的物体の新たなビューを描画し,3)レンダリングされた画像セグメントを合成,ブレンドする。
合成画像は、フォトリアリスティックで、トラフィックを認識し、幾何学的に整合性があり、画像シミュレーションは複雑なユースケースにスケールできる。
複数のカメラセンサにまたがる長距離リアル映像シミュレーションと、下流セグメンテーションタスクにおけるデータ拡張のための合成データ生成の2つの重要な応用を実証する。
関連論文リスト
- URDFormer: A Pipeline for Constructing Articulated Simulation Environments from Real-World Images [39.0780707100513]
そこで本研究では,実世界の画像からキネマティック構造と動的構造を合成したシミュレーションシーンを生成するエンドツーエンドパイプラインを提案する。
そこで本研究は,大規模シミュレーション環境のためのパイプラインと,ロバストなロボット制御ポリシをトレーニングするための統合システムの両方を提供する。
論文 参考訳（メタデータ） (2024-05-19T20:01:29Z) - Total-Decom: Decomposed 3D Scene Reconstruction with Minimal Interaction [51.3632308129838]
人間のインタラクションを最小限に抑えた3次元再構成法であるTotal-Decomを提案する。
提案手法は,Segment Anything Model (SAM) とハイブリッド型暗黙的なニューラルサーフェス表現をシームレスに統合し,メッシュベースの領域成長技術を用いて正確な3次元オブジェクト分解を行う。
提案手法をベンチマークデータセット上で広範囲に評価し,アニメーションやシーン編集などの下流アプリケーションの可能性を示す。
論文 参考訳（メタデータ） (2024-03-28T11:12:33Z) - Zero-Shot Multi-Object Scene Completion [59.325611678171974]
1枚のRGB-D画像から複雑なシーンにおける複数の見えない物体の完全な形状を復元する3Dシーン補完法を提案する。
提案手法は, 合成および実世界の両方のデータセットにおいて, 現在の最先端技術よりも優れている。
論文 参考訳（メタデータ） (2024-03-21T17:59:59Z) - Scaling Face Interaction Graph Networks to Real World Scenes [12.519862235430153]
本稿では,グラフベースの学習シミュレータの実行に必要なメモリを大幅に削減する手法を提案する。
提案手法は,従来のグラフベースシミュレータに比べて,精度を保ちながらメモリ使用量が大幅に少ないことを示す。
これにより、学習したシミュレータの応用を、推論時に知覚情報しか利用できない設定に拡張する道が開ける。
論文 参考訳（メタデータ） (2024-01-22T14:38:25Z) - Reconstructing Objects in-the-wild for Realistic Sensor Simulation [41.55571880832957]
我々は,スパース・イン・ザ・ワイルドデータから正確な幾何学的および現実的な外観を推定する新しい手法であるNeuSimを提案する。
物体の外観を物理にインスパイアされた頑健な反射率表現でモデル化し,実測データに有効である。
実験の結果,NeuSimはスパース・トレーニング・ビューを持つ難解なシナリオに対して,強力なビュー合成性能を有することがわかった。
論文 参考訳（メタデータ） (2023-11-09T18:58:22Z) - A Shared Representation for Photorealistic Driving Simulators [83.5985178314263]
本稿では、識別器アーキテクチャを再考することにより、生成画像の品質を向上させることを提案する。
シーンセグメンテーションマップや人体ポーズといったセマンティックインプットによって画像が生成されるという問題に焦点が当てられている。
我々は,意味的セグメンテーション,コンテンツ再構成,および粗い粒度の逆解析を行うのに十分な情報をエンコードする,共有潜在表現を学習することを目指している。
論文 参考訳（メタデータ） (2021-12-09T18:59:21Z) - Photorealism in Driving Simulations: Blending Generative Adversarial
Image Synthesis with Rendering [0.0]
我々は、運転シミュレーションの視覚的忠実度を改善するために、ハイブリッドな生成型ニューラルネットワークパイプラインを導入する。
テクスチャのない単純なオブジェクトモデルからなる3次元シーンから2次元のセマンティック画像を生成する。
これらのセマンティックイメージは、現実の運転シーンで訓練された最先端のジェネレーティブ・アドリア・ネットワーク(GAN)を用いて、フォトリアリスティックなRGBイメージに変換される。
論文 参考訳（メタデータ） (2020-07-31T03:25:17Z) - Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。
VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
論文 参考訳（メタデータ） (2020-07-14T14:45:00Z) - LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。
まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。
本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
論文 参考訳（メタデータ） (2020-06-16T17:44:35Z) - SurfelGAN: Synthesizing Realistic Sensor Data for Autonomous Driving [27.948417322786575]
本稿では,現実的なシナリオセンサデータを生成するための,シンプルで効果的な手法を提案する。
われわれのアプローチでは、テクスチャマップされたサーフを使用して、初期車両のパスやセットのパスからシーンを効率的に再構築する。
次に、SurfelGANネットワークを利用して、現実的なカメライメージを再構築し、自動運転車の新たな位置と方向を推定する。
論文 参考訳（メタデータ） (2020-05-08T04:01:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。