論文の概要: Realistic Image Synthesis with Configurable 3D Scene Layouts

• arxiv url: http://arxiv.org/abs/2108.10031v2
• Date: Tue, 24 Aug 2021 05:52:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-25 11:14:35.627313
• Title: Realistic Image Synthesis with Configurable 3D Scene Layouts
• Title（参考訳）: 構成可能な3dシーンレイアウトによるリアル画像合成
• Authors: Jaebong Jeong, Janghun Jo, Jingdong Wang, Sunghyun Cho, Jaesik Park
• Abstract要約: 本稿では,3次元シーンレイアウトに基づくリアルな画像合成手法を提案する。 提案手法では, セマンティッククラスラベルを入力として3Dシーンを抽出し, 3Dシーンの描画ネットワークを訓練する。 訓練された絵画ネットワークにより、入力された3Dシーンのリアルな外観の画像を描画し、操作することができる。
• 参考スコア（独自算出の注目度）: 59.872657806747576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent conditional image synthesis approaches provide high-quality synthesized images. However, it is still challenging to accurately adjust image contents such as the positions and orientations of objects, and synthesized images often have geometrically invalid contents. To provide users with rich controllability on synthesized images in the aspect of 3D geometry, we propose a novel approach to realistic-looking image synthesis based on a configurable 3D scene layout. Our approach takes a 3D scene with semantic class labels as input and trains a 3D scene painting network that synthesizes color values for the input 3D scene. With the trained painting network, realistic-looking images for the input 3D scene can be rendered and manipulated. To train the painting network without 3D color supervision, we exploit an off-the-shelf 2D semantic image synthesis method. In experiments, we show that our approach produces images with geometrically correct structures and supports geometric manipulation such as the change of the viewpoint and object poses as well as manipulation of the painting style.
• Abstract（参考訳）: 最近の条件付き画像合成手法は高品質な合成画像を提供する。 しかし、オブジェクトの位置や向きなどの画像内容の正確な調整は依然として困難であり、合成画像は幾何学的に無効な内容を持つことが多い。 3次元幾何学的な側面から合成画像のリッチな制御性を実現するために,構成可能な3次元シーンレイアウトに基づくリアルな画像合成手法を提案する。 提案手法はセマンティックなクラスラベルを持つ3Dシーンを入力として、入力された3Dシーンの色値を合成する3Dシーン描画ネットワークを訓練する。 トレーニング済みのペイントネットワークでは、入力された3dシーンの写実的なイメージをレンダリングして操作することができる。 絵画ネットワークを3Dカラー監視なしで訓練するために,市販の2Dセマンティック画像合成手法を利用する。 実験では,本手法が幾何学的正しい構造をもつ画像を生成し,視点や物体のポーズの変化や絵画スタイルの操作といった幾何学的操作をサポートすることを示す。

関連論文リスト

• 3D-SSGAN: Lifting 2D Semantics for 3D-Aware Compositional Portrait Synthesis [11.457566989721078]
  既存の3D対応のポートレート合成手法は、強い3D一貫性を維持しながら、印象的な高品質な画像を生成することができる。 3D-SSGANは3次元合成画像合成のための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-01-08T09:41:07Z)
• CC3D: Layout-Conditioned Generation of Compositional 3D Scenes [49.281006972028194]
  本稿では,複雑な3次元シーンを2次元セマンティックなシーンレイアウトで合成する条件生成モデルであるCC3Dを紹介する。 合成3D-FRONTと実世界のKITTI-360データセットに対する評価は、我々のモデルが視覚的および幾何学的品質を改善したシーンを生成することを示す。
  論文  参考訳（メタデータ） (2023-03-21T17:59:02Z)
• CompNVS: Novel View Synthesis with Scene Completion [83.19663671794596]
  本稿では,スパースグリッドに基づくニューラルシーン表現を用いた生成パイプラインを提案する。 画像特徴を3次元空間に符号化し、幾何学的完備化ネットワークとその後のテクスチャ塗布ネットワークを用いて、欠落した領域を外挿する。 フォトリアリスティック画像列は、整合性関連微分可能レンダリングによって最終的に得られる。
  論文  参考訳（メタデータ） (2022-07-23T09:03:13Z)
• Style Agnostic 3D Reconstruction via Adversarial Style Transfer [23.304453155586312]
  物体の3次元形状を画像から再構成することは、コンピュータビジョンにおける大きな課題である。 本研究では,背景を持つ画像から3次元物体を識別可能な学習法を提案する。
  論文  参考訳（メタデータ） (2021-10-20T21:24:44Z)
• Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using Deep Shape Priors [69.02332607843569]
  PriSMONetは、単一画像から多目的3Dシーンの分解と表現を学習するための新しいアプローチである。 リカレントエンコーダは、入力されたRGB画像から、各オブジェクトの3D形状、ポーズ、テクスチャの潜時表現を回帰する。 我々は,3次元シーンレイアウトの推測におけるモデルの精度を評価し,その生成能力を実証し,実画像への一般化を評価し,学習した表現の利点を指摘する。
  論文  参考訳（メタデータ） (2020-10-08T14:49:23Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)
• 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
  本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。 学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。 結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
  論文  参考訳（メタデータ） (2020-04-09T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。