論文の概要: CAMPARI: Camera-Aware Decomposed Generative Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2103.17269v1
• Date: Wed, 31 Mar 2021 17:59:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-01 14:43:59.118635
• Title: CAMPARI: Camera-Aware Decomposed Generative Neural Radiance Fields
• Title（参考訳）: CAMPARI: カメラを意識した生成神経放射場
• Authors: Michael Niemeyer, Andreas Geiger
• Abstract要約: 画像だけでなく,カメラデータ分布を忠実に復元する3次元およびカメラ認識生成モデルについて検討した。 テスト時に、私たちのモデルは、カメラを明示的に制御し、シーンの形状と外観で画像を生成します。
• 参考スコア（独自算出の注目度）: 67.76151996543588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tremendous progress in deep generative models has led to photorealistic image synthesis. While achieving compelling results, most approaches operate in the two-dimensional image domain, ignoring the three-dimensional nature of our world. Several recent works therefore propose generative models which are 3D-aware, i.e., scenes are modeled in 3D and then rendered differentiably to the image plane. This leads to impressive 3D consistency, but incorporating such a bias comes at a price: the camera needs to be modeled as well. Current approaches assume fixed intrinsics and a predefined prior over camera pose ranges. As a result, parameter tuning is typically required for real-world data, and results degrade if the data distribution is not matched. Our key hypothesis is that learning a camera generator jointly with the image generator leads to a more principled approach to 3D-aware image synthesis. Further, we propose to decompose the scene into a background and foreground model, leading to more efficient and disentangled scene representations. While training from raw, unposed image collections, we learn a 3D- and camera-aware generative model which faithfully recovers not only the image but also the camera data distribution. At test time, our model generates images with explicit control over the camera as well as the shape and appearance of the scene.
• Abstract（参考訳）: 深層生成モデルの飛躍的な進歩は、フォトリアリスティックな画像合成につながった。 魅力的な結果を得る一方で、ほとんどのアプローチは2次元画像領域で動作し、世界の3次元の性質を無視している。 したがって、最近のいくつかの研究では、シーンを3Dでモデル化し、画像平面と異なるレンダリングを行う3D対応の生成モデルが提案されている。 これは印象的な3D整合性をもたらすが、そのような偏見を取り入れるには価格がかかる:カメラもモデル化する必要がある。 現在のアプローチでは、固定された内在性とカメラのポーズ範囲に対する事前定義された事前定義を前提としている。 その結果、実際のデータにはパラメータチューニングが通常必要となり、データ分布が一致しない場合には結果が劣化する。 我々の重要な仮説は、カメラジェネレータを画像ジェネレータと共同で学習することで、3D認識画像合成へのより原則的なアプローチが導かれるということである。 さらに,シーンを背景モデルと前景モデルに分解し,より効率的かつ不連続なシーン表現を実現することを提案する。 生の画像コレクションからトレーニングしながら、画像だけでなくカメラデータ分布も忠実に復元する3dおよびカメラ認識生成モデルを学ぶ。 テスト時には,映像の形状や外観だけでなく,カメラを明示的に制御した画像を生成する。

関連論文リスト

• SpaRP: Fast 3D Object Reconstruction and Pose Estimation from Sparse Views [36.02533658048349]
  本研究では,3次元テクスチャメッシュを再構成し,スパースビュー画像に対する相対カメラのポーズを推定する新しい手法であるSpaRPを提案する。 SpaRPは2次元拡散モデルから知識を抽出し、それらを微調整し、スパースビュー間の3次元空間関係を暗黙的に推論する。 テクスチャ化されたメッシュを生成するのに、わずか20秒しかかからず、カメラは入力ビューにポーズする。
  論文  参考訳（メタデータ） (2024-08-19T17:53:10Z)
• Director3D: Real-world Camera Trajectory and 3D Scene Generation from Text [61.9973218744157]
  実世界の3Dシーンと適応カメラトラジェクトリの両方を生成するように設計された,堅牢なオープンワールドテキスト・ツー・3D生成フレームワークであるDirector3Dを紹介する。 Director3Dは既存の手法よりも優れており、実世界の3D生成において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-06-25T14:42:51Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• Persistent Nature: A Generative Model of Unbounded 3D Worlds [74.51149070418002]
  任意のカメラポーズから3Dデコーダとボリュームレンダリングによって描画できる拡張可能な平面配置グリッドを提案する。 この表現に基づいて、単一視点のインターネット写真のみから生成的世界モデルを学ぶ。 提案手法は,現在の3次元生成モデルの固定境界を超えるシーン外挿を可能にするとともに,永続的でカメラに依存しない世界表現をサポートする。
  論文  参考訳（メタデータ） (2023-03-23T17:59:40Z)
• GAUDI: A Neural Architect for Immersive 3D Scene Generation [67.97817314857917]
  GAUDIは、動くカメラから没入的にレンダリングできる複雑な3Dシーンの分布をキャプチャできる生成モデルである。 GAUDIは,複数のデータセットにまたがる非条件生成環境において,最先端の性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-27T19:10:32Z)
• Disentangled3D: Learning a 3D Generative Model with Disentangled Geometry and Appearance from Monocular Images [94.49117671450531]
  最先端の3D生成モデルは、合成に神経的な3Dボリューム表現を使用するGANである。 本稿では,単分子観察だけで物体の絡み合ったモデルを学ぶことができる3D GANを設計する。
  論文  参考訳（メタデータ） (2022-03-29T22:03:18Z)
• 3D modelling of survey scene from images enhanced with a multi-exposure fusion [1.7816843507516948]
  本稿では,画像の可視性を向上し,最終的に3次元シーンモデルの誤差を低減する手法を提案する。 このアイデアは、画像のデハージングにインスパイアされている。それぞれのオリジナル画像は、まず複数の露光画像に変換される。 拡張画像は、サブミリ平均誤差で3Dシーンモデルを再構成することができる。
  論文  参考訳（メタデータ） (2021-11-10T06:02:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。