論文の概要: 3DGS-Enhancer: Enhancing Unbounded 3D Gaussian Splatting with View-consistent 2D Diffusion Priors

• arxiv url: http://arxiv.org/abs/2410.16266v1
• Date: Mon, 21 Oct 2024 17:59:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:20:28.781160
• Title: 3DGS-Enhancer: Enhancing Unbounded 3D Gaussian Splatting with View-consistent 2D Diffusion Priors
• Title（参考訳）: 3DGS-Enhancer:ビュー一貫性の2D拡散プリミティブによる非有界3Dガウス平滑化
• Authors: Xi Liu, Chaoyi Zhou, Siyu Huang,
• Abstract要約: 新規ビュー合成は、複数の入力画像やビデオからシーンの新しいビューを生成することを目的としている。 3DGS-Enhancerは、3DGS表現の表現品質を向上させるための新しいパイプラインである。
• 参考スコア（独自算出の注目度）: 13.191199172286508
• License:
• Abstract: Novel-view synthesis aims to generate novel views of a scene from multiple input images or videos, and recent advancements like 3D Gaussian splatting (3DGS) have achieved notable success in producing photorealistic renderings with efficient pipelines. However, generating high-quality novel views under challenging settings, such as sparse input views, remains difficult due to insufficient information in under-sampled areas, often resulting in noticeable artifacts. This paper presents 3DGS-Enhancer, a novel pipeline for enhancing the representation quality of 3DGS representations. We leverage 2D video diffusion priors to address the challenging 3D view consistency problem, reformulating it as achieving temporal consistency within a video generation process. 3DGS-Enhancer restores view-consistent latent features of rendered novel views and integrates them with the input views through a spatial-temporal decoder. The enhanced views are then used to fine-tune the initial 3DGS model, significantly improving its rendering performance. Extensive experiments on large-scale datasets of unbounded scenes demonstrate that 3DGS-Enhancer yields superior reconstruction performance and high-fidelity rendering results compared to state-of-the-art methods. The project webpage is https://xiliu8006.github.io/3DGS-Enhancer-project .
• Abstract（参考訳）: 新規ビュー合成は、複数の入力画像やビデオからシーンの新たなビューを生成することを目的としており、3Dガウススプラッティング(3DGS)のような最近の進歩は、効率的なパイプラインによるフォトリアリスティックレンダリングの作成において顕著な成功を収めている。 しかし、スパースインプットビューのような難易度の高い条件下での高品質な新規ビューの生成は、アンダーサンプリングされた地域での情報不足のため困難であり、しばしば顕著な成果をもたらす。 本稿では,3DGS表現の表現品質を向上させる新しいパイプラインである3DGS-Enhancerを提案する。 本稿では,映像生成プロセスにおける時間的一貫性を実現するために,従来の2次元映像拡散を生かして,課題となる3次元ビューの一貫性問題に対処する。 3DGS-Enhancerは、レンダリングされた新規ビューのビュー一貫性のある潜在特徴を復元し、空間時間デコーダを介して入力ビューと統合する。 拡張ビューは最初の3DGSモデルを微調整するために使用され、レンダリング性能が大幅に向上した。 3DGS-Enhancerの大規模データセットの大規模な実験により、最先端の手法と比較して、3DGS-Enhancerの再現性能と高忠実度レンダリング結果が優れていることが示された。 プロジェクトのWebページはhttps://xiliu8006.github.io/3DGS-Enhancer-projectである。

関連論文リスト

• Flex3D: Feed-Forward 3D Generation With Flexible Reconstruction Model And Input View Curation [61.040832373015014]
  テキスト, 単一画像, スパース画像から高品質な3Dコンテンツを生成するための新しいフレームワークFlex3Dを提案する。 我々は、微調整された多視点画像拡散モデルとビデオ拡散モデルを用いて、候補視のプールを生成し、ターゲット3Dオブジェクトのリッチな表現を可能にする。 第2段階では、キュレートされたビューは、任意の数の入力を効果的に処理できるトランスフォーマーアーキテクチャ上に構築されたフレキシブルリコンストラクションモデル(FlexRM)に入力されます。
  論文  参考訳（メタデータ） (2024-10-01T17:29:43Z)
• SpikeGS: 3D Gaussian Splatting from Spike Streams with High-Speed Camera Motion [46.23575738669567]
  新しいビュー合成は、3Dシーンのマルチビュー画像から新しい2Dレンダリングを生成することで重要な役割を果たす。 高フレームレートの高密度3D再構成は、現実世界の物体やシーンの詳細なモデリングを可能にする重要な技術として現れる。 スパイクカメラは、新しいタイプのニューロモルフィックセンサーであり、超高時間分解能でシーンを継続的に記録する。
  論文  参考訳（メタデータ） (2024-07-14T03:19:30Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
  制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。 写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。 提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2024-06-04T15:17:37Z)
• Bootstrap 3D Reconstructed Scenes from 3D Gaussian Splatting [10.06208115191838]
  トレーニングされた3D-GSを用いて,新しいビューのレンダリングを強化するブートストラップ手法を提案する。 以上の結果から,ブートストレッピングはアーティファクトを効果的に削減し,評価指標の明確化を図っている。
  論文  参考訳（メタデータ） (2024-04-29T12:57:05Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。