論文の概要: Generative Scene Synthesis via Incremental View Inpainting using RGBD Diffusion Models

• arxiv url: http://arxiv.org/abs/2212.05993v1
• Date: Mon, 12 Dec 2022 15:50:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 17:07:07.619070
• Title: Generative Scene Synthesis via Incremental View Inpainting using RGBD Diffusion Models
• Title（参考訳）: rgbd拡散モデルを用いたインクリメンタルビューインペインティングによる生成シーン合成
• Authors: Jiabao Lei, Jiapeng Tang, Kui Jia
• Abstract要約: 本研究では,カメラ軌道に沿って新しいRGBDビューを順次生成する新しい手法を提案する。 各レンダリングされたRGBDビューは、後に部分曲面としてバックプロジェクションされ、中間メッシュに補完される。 中間メッシュとカメラプロジェクションの使用は、多視点不整合の屈折問題を解くのに役立つ。
• 参考スコア（独自算出の注目度）: 39.23531919945332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the challenge of recovering an underlying scene geometry and colors from a sparse set of RGBD view observations. In this work, we present a new solution that sequentially generates novel RGBD views along a camera trajectory, and the scene geometry is simply the fusion result of these views. More specifically, we maintain an intermediate surface mesh used for rendering new RGBD views, which subsequently becomes complete by an inpainting network; each rendered RGBD view is later back-projected as a partial surface and is supplemented into the intermediate mesh. The use of intermediate mesh and camera projection helps solve the refractory problem of multi-view inconsistency. We practically implement the RGBD inpainting network as a versatile RGBD diffusion model, which is previously used for 2D generative modeling; we make a modification to its reverse diffusion process to enable our use. We evaluate our approach on the task of 3D scene synthesis from sparse RGBD inputs; extensive experiments on the ScanNet dataset demonstrate the superiority of our approach over existing ones. Project page: https://jblei.site/project-pages/rgbd-diffusion.html
• Abstract（参考訳）: 我々は,rgbd ビュー観測のスパース集合から基盤となるシーン幾何と色を復元する課題に対処した。 本研究では,カメラの軌跡に沿って新たなrgbdビューを逐次生成する新しいソリューションを提案する。 より具体的には、新しいrgbdビューのレンダリングに使用される中間面メッシュを維持し、その後、塗装されたネットワークによって完成させ、レンダリングされたrgbdビューは、後に部分面としてバックプロジェクションされ、中間メッシュに補完される。 中間メッシュとカメラプロジェクションの使用は、多視点不整合の屈折問題を解くのに役立つ。 我々は,従来2次元生成モデリングに用いられてきた汎用的なrgbd拡散モデルとして,rgbdインパインティングネットワークを実際に実装した。 我々は,sparse rgbd入力からの3次元シーン合成のタスクに対するアプローチを評価した。 プロジェクトページ: https://jblei.site/project-pages/rgbd-diffusion.html

関連論文リスト

• GenRC: Generative 3D Room Completion from Sparse Image Collections [17.222652213723485]
  GenRCは、高忠実度テクスチャを備えたルームスケールの3Dメッシュを完成させる、自動トレーニングフリーパイプラインである。 E-Diffusionは、大域幾何学と外観整合性を保証するビュー一貫性パノラマRGBD画像を生成する。 GenRCは、ScanNetとARKitScenesデータセットのほとんどの外観と幾何学的メトリクスの下で、最先端のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-07-17T18:10:40Z)
• MVD-Fusion: Single-view 3D via Depth-consistent Multi-view Generation [54.27399121779011]
  本稿では,多視点RGB-D画像の生成モデルを用いて,単視点3次元推論を行うMVD-Fusionを提案する。 提案手法は,蒸留に基づく3D推論や先行多視点生成手法など,最近の最先端技術と比較して,より正確な合成を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-04-04T17:59:57Z)
• O$^2$-Recon: Completing 3D Reconstruction of Occluded Objects in the Scene with a Pre-trained 2D Diffusion Model [28.372289119872764]
  咬合は、RGB-Dビデオからの3D再構成において一般的な問題であり、しばしばオブジェクトの完全な再構成をブロックする。 本研究では,物体の隠れた部分の完全な表面を再構築する2次元拡散に基づくインペインティングモデルを用いて,新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:38:31Z)
• Color-NeuS: Reconstructing Neural Implicit Surfaces with Color [46.90825914361547]
  多視点画像やモノクロ映像から物体表面を再構成する手法を開発した。 我々は、リライトネットワークを介してボリュームレンダリング性能を維持しながら、ビュー依存色をニューラルボリュームレンダリングから除去する。 その結果、メッシュをカラーで再構築できる既存の手法に勝る結果となった。
  論文  参考訳（メタデータ） (2023-08-14T06:32:54Z)
• $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D Reconstruction [97.06927852165464]
  単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。 条件付き偏光拡散プロセスによりスパース点雲を生成する単一像3次元再構成法を提案する。
  論文  参考訳（メタデータ） (2023-02-21T13:37:07Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• RGB-D Image Inpainting Using Generative Adversarial Network with a Late Fusion Approach [14.06830052027649]
  Diminished Realityは、ビデオ画像からオブジェクトを取り除き、行方不明の領域を可視画素で埋めることを目的とした技術だ。 生成逆数ネットワークを用いたRGB-D画像の描画手法を提案する。
  論文  参考訳（メタデータ） (2021-10-14T14:44:01Z)
• Refer-it-in-RGBD: A Bottom-up Approach for 3D Visual Grounding in RGBD Images [69.5662419067878]
  RGBD画像における接地参照表現は新たな分野である。 本稿では,参照する物体が閉塞により部分的にスキャンされる場合が多い単視点rgbd画像における3次元視覚グランド化の新たな課題を提案する。 提案手法はまず,RGBD画像内の関連領域をローカライズするヒートマップを生成するために,下層の言語と視覚的特徴を融合させる。 次に、ヒートマップに基づく適応的特徴学習を行い、他のビジオ言語融合とオブジェクトレベルのマッチングを行い、最後に参照したオブジェクトを接地する。
  論文  参考訳（メタデータ） (2021-03-14T11:18:50Z)
• RGBD-Net: Predicting color and depth images for novel views synthesis [46.233701784858184]
  RGBD-Netは,対象のポーズの深度マップとカラーイメージをマルチスケールで予測するために提案される。 その結果、RGBD-Netは、これまで見つからなかったデータに対してよく一般化されていることが示唆された。
  論文  参考訳（メタデータ） (2020-11-29T16:42:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。