論文の概要: Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement

• arxiv url: http://arxiv.org/abs/2003.12649v1
• Date: Fri, 27 Mar 2020 21:45:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 05:20:35.942957
• Title: Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement
• Title（参考訳）: Deep CG2Real: Image Disentanglementによる合成・翻訳
• Authors: Sai Bi, Kalyan Sunkavalli, Federico Perazzi, Eli Shechtman, Vladimir Kim, Ravi Ramamoorthi
• Abstract要約: 画像空間における未ペアの合成-現実翻訳ネットワークの訓練は、厳しい制約下にある。 画像の非交叉シェーディング層とアルベド層に作用する半教師付きアプローチを提案する。 私たちの2段階のパイプラインはまず、物理ベースのレンダリングをターゲットとして、教師付き方法で正確なシェーディングを予測することを学習します。
• 参考スコア（独自算出の注目度）: 78.58603635621591
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a method to improve the visual realism of low-quality, synthetic images, e.g. OpenGL renderings. Training an unpaired synthetic-to-real translation network in image space is severely under-constrained and produces visible artifacts. Instead, we propose a semi-supervised approach that operates on the disentangled shading and albedo layers of the image. Our two-stage pipeline first learns to predict accurate shading in a supervised fashion using physically-based renderings as targets, and further increases the realism of the textures and shading with an improved CycleGAN network. Extensive evaluations on the SUNCG indoor scene dataset demonstrate that our approach yields more realistic images compared to other state-of-the-art approaches. Furthermore, networks trained on our generated "real" images predict more accurate depth and normals than domain adaptation approaches, suggesting that improving the visual realism of the images can be more effective than imposing task-specific losses.
• Abstract（参考訳）: 本稿では,低品質な合成画像,例えばOpenGLレンダリングの視覚的リアリズムを改善する方法を提案する。 画像空間における不対向合成翻訳ネットワークの訓練は、過度に制約され、目に見える人工物を生成する。 代わりに、画像の異方性シェーディング層とアルベド層に作用する半教師ありアプローチを提案する。 2段階のパイプラインは,まず,物理的レンダリングを目標として教師あり方式で正確なシェーディングを予測し,さらにサイクガンネットワークの改善によりテクスチャやシェーディングの現実性を高める。 suncg屋内シーンデータセットの広範な評価は、我々のアプローチが、他の最先端のアプローチと比較してよりリアルなイメージをもたらすことを示している。 さらに,生成された「現実」画像上で訓練されたネットワークは,ドメイン適応アプローチよりも精度の高い奥行きと正規値を予測し,タスク固有の損失よりも画像の視覚的リアリズムを改善する方が効果的であることが示唆された。

関連論文リスト

• Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
  眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。 対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。 提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-23T22:32:06Z)
• Photo-realistic Neural Domain Randomization [37.42597274391271]
  ニューラルレンダリングの最近の進歩は、フォトリアリスティック・ニューラルドメインランダム化(PNDR)と呼ばれる新しい統一アプローチを可能にしていることを示す。 我々のアプローチはモジュラーであり、材料、照明、レンダリングのための異なるニューラルネットワークで構成されており、異なるキー画像生成コンポーネントを異なるパイプラインでランダム化することが可能である。 実験の結果,PNDRを用いたトレーニングにより,新たなシーンへの一般化が可能であり,実世界移動の面では芸術の状況を大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-10-23T09:45:27Z)
• Enhancing Photorealism Enhancement [83.88433283714461]
  本稿では,畳み込みネットワークを用いた合成画像のリアリズム向上手法を提案する。 一般的に使用されるデータセットのシーンレイアウトの分布を分析し、重要な方法で異なることを見つけます。 近年のイメージ・ツー・イメージ翻訳法と比較して,安定性とリアリズムの大幅な向上が報告されている。
  論文  参考訳（メタデータ） (2021-05-10T19:00:49Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)
• Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
  形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。 ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。 合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
  論文  参考訳（メタデータ） (2020-04-01T12:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。