論文の概要: GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields

• arxiv url: http://arxiv.org/abs/2011.12100v2
• Date: Thu, 29 Apr 2021 14:46:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 12:34:52.324294
• Title: GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields
• Title（参考訳）: GIRAFFE: 構成生成ニューラル特徴場としてのシーン表現
• Authors: Michael Niemeyer, Andreas Geiger
• Abstract要約: 深部生成モデルは、高解像度で光リアルな画像合成を可能にする。 しかし、多くのアプリケーションにとって、これは十分ではない。コンテンツ生成も制御可能である必要がある。 我々のキーとなる仮説は、構成的な3Dシーン表現を生成モデルに組み込むことにより、より制御可能な画像合成につながるというものである。
• 参考スコア（独自算出の注目度）: 45.21191307444531
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep generative models allow for photorealistic image synthesis at high resolutions. But for many applications, this is not enough: content creation also needs to be controllable. While several recent works investigate how to disentangle underlying factors of variation in the data, most of them operate in 2D and hence ignore that our world is three-dimensional. Further, only few works consider the compositional nature of scenes. Our key hypothesis is that incorporating a compositional 3D scene representation into the generative model leads to more controllable image synthesis. Representing scenes as compositional generative neural feature fields allows us to disentangle one or multiple objects from the background as well as individual objects' shapes and appearances while learning from unstructured and unposed image collections without any additional supervision. Combining this scene representation with a neural rendering pipeline yields a fast and realistic image synthesis model. As evidenced by our experiments, our model is able to disentangle individual objects and allows for translating and rotating them in the scene as well as changing the camera pose.
• Abstract（参考訳）: 深部生成モデルは、高解像度で光リアルな画像合成を可能にする。 しかし、多くのアプリケーションにとって、これは十分ではない。コンテンツ生成も制御可能である必要がある。 近年の研究では、データの変化の基本的な要因を解消する方法が研究されているが、そのほとんどは2Dで運用されているため、私たちの世界は3次元であることを無視している。 さらに、場面の構成的性質を考える作品も少なくない。 我々のキーとなる仮説は、構成的な3Dシーン表現を生成モデルに組み込むことにより、より制御可能な画像合成につながるというものである。 シーンを構成的生成的ニューラル特徴フィールドとして表現することで、1つまたは複数のオブジェクトを背景から、また個々のオブジェクトの形状や外観から分離することができる。 このシーン表現とニューラルレンダリングパイプラインを組み合わせることで、高速でリアルな画像合成モデルが得られる。 実験によって証明されたように、我々のモデルは個々の物体を歪め、シーンでそれらを翻訳・回転させ、カメラのポーズを変えることができる。

関連論文リスト

• DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis [90.32352050266104]
  DisCoSceneは高品質で制御可能なシーン合成のための3Daware生成モデルである。 グローバルな局所的差別を伴う2次元画像のみを学習することで、シーン全体をオブジェクト中心の生成フィールドに分解する。 挑戦的な屋外データセットを含む多くのシーンデータセットで最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-12-22T18:59:59Z)
• gCoRF: Generative Compositional Radiance Fields [80.45269080324677]
  オブジェクトの3次元生成モデルにより、3次元制御によるフォトリアリスティック画像合成が可能となる。 既存の方法はシーンをグローバルなシーン表現としてモデル化し、シーンの構成的側面を無視します。 本稿では,オブジェクトの各意味部分を独立した3次元表現として表現する合成生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-10-31T14:10:44Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• Advances in Neural Rendering [115.05042097988768]
  本稿では,古典的レンダリングと学習された3Dシーン表現を組み合わせた手法について述べる。 これらの手法の重要な利点は、これらが3D一貫性を持ち、キャプチャされたシーンの新たな視点のようなアプリケーションを可能にすることである。 静的なシーンを扱う方法に加えて、非厳密な変形オブジェクトをモデル化するためのニューラルシーン表現についても取り上げる。
  論文  参考訳（メタデータ） (2021-11-10T18:57:01Z)
• Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using Deep Shape Priors [69.02332607843569]
  PriSMONetは、単一画像から多目的3Dシーンの分解と表現を学習するための新しいアプローチである。 リカレントエンコーダは、入力されたRGB画像から、各オブジェクトの3D形状、ポーズ、テクスチャの潜時表現を回帰する。 我々は,3次元シーンレイアウトの推測におけるモデルの精度を評価し,その生成能力を実証し,実画像への一般化を評価し,学習した表現の利点を指摘する。
  論文  参考訳（メタデータ） (2020-10-08T14:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。