論文の概要: Style Agnostic 3D Reconstruction via Adversarial Style Transfer

• arxiv url: http://arxiv.org/abs/2110.10784v1
• Date: Wed, 20 Oct 2021 21:24:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-22 16:34:00.644140
• Title: Style Agnostic 3D Reconstruction via Adversarial Style Transfer
• Title（参考訳）: 逆方向移動による3次元形状認識
• Authors: Felix Petersen, Bastian Goldluecke, Oliver Deussen, Hilde Kuehne
• Abstract要約: 物体の3次元形状を画像から再構成することは、コンピュータビジョンにおける大きな課題である。 本研究では,背景を持つ画像から3次元物体を識別可能な学習法を提案する。
• 参考スコア（独自算出の注目度）: 23.304453155586312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing the 3D geometry of an object from an image is a major challenge in computer vision. Recently introduced differentiable renderers can be leveraged to learn the 3D geometry of objects from 2D images, but those approaches require additional supervision to enable the renderer to produce an output that can be compared to the input image. This can be scene information or constraints such as object silhouettes, uniform backgrounds, material, texture, and lighting. In this paper, we propose an approach that enables a differentiable rendering-based learning of 3D objects from images with backgrounds without the need for silhouette supervision. Instead of trying to render an image close to the input, we propose an adversarial style-transfer and domain adaptation pipeline that allows to translate the input image domain to the rendered image domain. This allows us to directly compare between a translated image and the differentiable rendering of a 3D object reconstruction in order to train the 3D object reconstruction network. We show that the approach learns 3D geometry from images with backgrounds and provides a better performance than constrained methods for single-view 3D object reconstruction on this task.
• Abstract（参考訳）: 画像から物体の3次元形状を再構築することは、コンピュータビジョンの大きな課題である。 最近導入された微分可能レンダラは、2d画像からオブジェクトの3d幾何学を学ぶために利用できるが、これらのアプローチはレンダラーが入力画像と比較可能な出力を生成するために追加の監督を必要とする。 これはシーン情報や、オブジェクトシルエット、均一な背景、材料、テクスチャ、照明といった制約である。 本稿では,シルエットの監督を必要とせず,背景を持つ画像から3Dオブジェクトを識別可能なレンダリングベースで学習する手法を提案する。 入力に近接して画像をレンダリングする代わりに、入力された画像ドメインをレンダリングされた画像ドメインに変換することができる、逆向きのスタイル変換とドメイン適応パイプラインを提案する。 これにより、3次元オブジェクト再構成ネットワークをトレーニングするために、翻訳画像と3次元オブジェクト再構成の微分レンダリングを直接比較することができる。 本研究では,背景を持つ画像から3次元形状を学習し,単一視点の3次元オブジェクト再構成のための制約付き手法よりも優れた性能を提供する。

関連論文リスト

• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• Realistic Image Synthesis with Configurable 3D Scene Layouts [59.872657806747576]
  本稿では,3次元シーンレイアウトに基づくリアルな画像合成手法を提案する。 提案手法では, セマンティッククラスラベルを入力として3Dシーンを抽出し, 3Dシーンの描画ネットワークを訓練する。 訓練された絵画ネットワークにより、入力された3Dシーンのリアルな外観の画像を描画し、操作することができる。
  論文  参考訳（メタデータ） (2021-08-23T09:44:56Z)
• Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
  本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。 我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。 深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
  論文  参考訳（メタデータ） (2021-08-10T12:19:34Z)
• Object Wake-up: 3-D Object Reconstruction, Animation, and in-situ Rendering from a Single Image [58.69732754597448]
  椅子の写真があれば、椅子の3次元形状を抽出し、その可愛らしい調音や動きをアニメーション化し、元の画像空間でその場でレンダリングできるだろうか? 単一画像中の調音対象を抽出・操作するための自動アプローチを考案する。
  論文  参考訳（メタデータ） (2021-08-05T16:20:12Z)
• GaussiGAN: Controllable Image Synthesis with 3D Gaussians from Unposed Silhouettes [48.642181362172906]
  対象物の粗い3次元表現を多視点2次元マスク監視から学習するアルゴリズムを提案する。 既存のボクセルを用いた物体再構成法とは対照的に,提案手法は生成した形状やポーズを表現することを学ぶ。 リアル照明を用いた合成データセットの結果を示し、対話的なポーズによるオブジェクト挿入を実証する。
  論文  参考訳（メタデータ） (2021-06-24T17:47:58Z)
• Shape from Blur: Recovering Textured 3D Shape and Motion of Fast Moving Objects [115.71874459429381]
  本研究では, 物体の3次元形状, テクスチャ, 動きを単一動画像から共同で再構成する新しい課題について述べる。 従来の手法では2次元画像領域でのみ遅延問題に対処するが、3次元領域における全ての物体特性の厳密なモデリングは任意の物体の動きの正確な記述を可能にする。
  論文  参考訳（メタデータ） (2021-06-16T13:18:08Z)
• Cycle-Consistent Generative Rendering for 2D-3D Modality Translation [21.962725416347855]
  我々は、3Dオブジェクトのリアルなレンダリングを生成し、画像からリアルな3D形状を推測するモジュールを学習する。 生成ドメイン翻訳の手法を利用することで、弱い監視しか必要としない学習アルゴリズムを不適切なデータで定義することができる。 得られたモデルは、2D画像から3D形状、ポーズ、テクスチャ推論を行うことができるが、新しいテクスチャ化された3D形状やレンダリングを生成することもできる。
  論文  参考訳（メタデータ） (2020-11-16T15:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。