論文の概要: Photorealism in Driving Simulations: Blending Generative Adversarial Image Synthesis with Rendering

• arxiv url: http://arxiv.org/abs/2007.15820v2
• Date: Thu, 21 Jul 2022 03:28:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 07:06:36.960519
• Title: Photorealism in Driving Simulations: Blending Generative Adversarial Image Synthesis with Rendering
• Title（参考訳）: 運転シミュレーションにおけるフォトリアリズム:生成的逆画像合成とレンダリングの融合
• Authors: Ekim Yurtsever, Dongfang Yang, Ibrahim Mert Koc, Keith A. Redmill
• Abstract要約: 我々は、運転シミュレーションの視覚的忠実度を改善するために、ハイブリッドな生成型ニューラルネットワークパイプラインを導入する。 テクスチャのない単純なオブジェクトモデルからなる3次元シーンから2次元のセマンティック画像を生成する。 これらのセマンティックイメージは、現実の運転シーンで訓練された最先端のジェネレーティブ・アドリア・ネットワーク(GAN)を用いて、フォトリアリスティックなRGBイメージに変換される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Driving simulators play a large role in developing and testing new intelligent vehicle systems. The visual fidelity of the simulation is critical for building vision-based algorithms and conducting human driver experiments. Low visual fidelity breaks immersion for human-in-the-loop driving experiments. Conventional computer graphics pipelines use detailed 3D models, meshes, textures, and rendering engines to generate 2D images from 3D scenes. These processes are labor-intensive, and they do not generate photorealistic imagery. Here we introduce a hybrid generative neural graphics pipeline for improving the visual fidelity of driving simulations. Given a 3D scene, we partially render only important objects of interest, such as vehicles, and use generative adversarial processes to synthesize the background and the rest of the image. To this end, we propose a novel image formation strategy to form 2D semantic images from 3D scenery consisting of simple object models without textures. These semantic images are then converted into photorealistic RGB images with a state-of-the-art Generative Adversarial Network (GAN) trained on real-world driving scenes. This replaces repetitiveness with randomly generated but photorealistic surfaces. Finally, the partially-rendered and GAN synthesized images are blended with a blending GAN. We show that the photorealism of images generated with the proposed method is more similar to real-world driving datasets such as Cityscapes and KITTI than conventional approaches. This comparison is made using semantic retention analysis and Frechet Inception Distance (FID) measurements.
• Abstract（参考訳）: 運転シミュレータは、新しいインテリジェントな車両システムの開発とテストにおいて大きな役割を果たす。 シミュレーションの視覚的忠実性は、視覚ベースのアルゴリズムを構築し、人間のドライバー実験を行うために重要である。 低視力は、人間のループ運転実験の没入性を損なう。 従来のコンピュータグラフィックスパイプラインでは、詳細な3Dモデル、メッシュ、テクスチャ、レンダリングエンジンを使用して、3Dシーンから2D画像を生成する。 これらのプロセスは労働集約的であり、フォトリアリスティックなイメージを生成しない。 本稿では、運転シミュレーションの視覚的忠実度を改善するためのハイブリッド生成ニューラルネットワークパイプラインを提案する。 3dシーンが与えられると、車両などの重要なオブジェクトのみを部分的にレンダリングし、生成的な敵プロセスを使用して画像の背景と残りを合成します。 そこで本研究では,テクスチャのない単純な物体モデルからなる3次元景観から2次元意味画像を生成する新しい画像形成手法を提案する。 これらのセマンティックイメージは、現実の運転シーンで訓練された最先端のジェネレーティブ・アドバイサル・ネットワーク(GAN)を用いて、フォトリアリスティックなRGBイメージに変換される。 これは繰り返し性をランダムに生成するがフォトリアリスティックな曲面に置き換える。 最後に、部分的にレンダリングされたGAN合成画像と混合されたGANとを混合する。 提案手法で生成した画像のフォトリアリズムは,従来の手法よりも都市景観やkittiのような実世界の運転データセットに近い。 この比較は意味的保持分析とFrechet Inception Distance(FID)測定を用いて行われる。

関連論文リスト

• R2Human: Real-Time 3D Human Appearance Rendering from a Single Image [42.74145788079571]
  R2Humanは、1つの画像から3D人間の外見をリアルタイムに推測およびレンダリングするための最初のアプローチである。 本稿では、可視領域の高忠実な色再現を行い、隠蔽領域に対して信頼性の高い色推定を行うエンド・ツー・エンド・ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-10T08:59:43Z)
• Texture Generation Using Graph Generative Adversarial Network And Differentiable Rendering [0.6439285904756329]
  既存の3次元メッシュモデルのための新しいテクスチャ合成は、シミュレータのフォトリアルアセット生成に向けた重要なステップである。 既存の手法は、カメラの観点からの3次元空間の投影である2次元画像空間で本質的に機能する。 本稿では,BlenderやUnreal Engineといったツールを用いて,与えられた3Dメッシュモデルに直接統合可能なテクスチャを生成可能なGGAN(Graph Generative Adversarial Network)という新しいシステムを提案する。
  論文  参考訳（メタデータ） (2022-06-17T04:56:03Z)
• 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
  本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。 DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-02T17:10:53Z)
• GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
  GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。 まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。 得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
  論文  参考訳（メタデータ） (2021-01-16T23:00:33Z)
• Recovering and Simulating Pedestrians in the Wild [81.38135735146015]
  本研究では,自動車の走行によって野生で捕獲されたセンサから歩行者の形状と動きを復元することを提案する。 再建された歩行者資産銀行をリアルな3Dシミュレーションシステムに組み込む。 シミュレーションしたLiDARデータを用いて,視覚知覚タスクに必要な実世界のデータ量を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2020-11-16T17:16:32Z)
• SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
  従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。 我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。 我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
  論文  参考訳（メタデータ） (2020-08-16T10:22:00Z)
• Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
  本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。 VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
  論文  参考訳（メタデータ） (2020-07-14T14:45:00Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)
• Learning Neural Light Transport [28.9247002210861]
  ニューラルネットワークを用いた静的・動的3次元シーンにおける光輸送の学習手法を提案する。 我々のモデルは静的および動的シーンのフォトリアリスティックなレンダリングを生成することができる。
  論文  参考訳（メタデータ） (2020-06-05T13:26:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。