論文の概要: NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model

• arxiv url: http://arxiv.org/abs/2411.16779v1
• Date: Mon, 25 Nov 2024 07:57:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:35:37.248976
• Title: NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model
• Title（参考訳）: NovelGS: 巨大ガウス再構成モデルによる一貫したノベルビューデノベーション
• Authors: Jinpeng Liu, Jiale Xu, Weihao Cheng, Yiming Gao, Xintao Wang, Ying Shan, Yansong Tang,
• Abstract要約: NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。 我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
• 参考スコア（独自算出の注目度）: 57.92709692193132
• License:
• Abstract: We introduce NovelGS, a diffusion model for Gaussian Splatting (GS) given sparse-view images. Recent works leverage feed-forward networks to generate pixel-aligned Gaussians, which could be fast rendered. Unfortunately, the method was unable to produce satisfactory results for areas not covered by the input images due to the formulation of these methods. In contrast, we leverage the novel view denoising through a transformer-based network to generate 3D Gaussians. Specifically, by incorporating both conditional views and noisy target views, the network predicts pixel-aligned Gaussians for each view. During training, the rendered target and some additional views of the Gaussians are supervised. During inference, the target views are iteratively rendered and denoised from pure noise. Our approach demonstrates state-of-the-art performance in addressing the multi-view image reconstruction challenge. Due to generative modeling of unseen regions, NovelGS effectively reconstructs 3D objects with consistent and sharp textures. Experimental results on publicly available datasets indicate that NovelGS substantially surpasses existing image-to-3D frameworks, both qualitatively and quantitatively. We also demonstrate the potential of NovelGS in generative tasks, such as text-to-3D and image-to-3D, by integrating it with existing multiview diffusion models. We will make the code publicly accessible.
• Abstract（参考訳）: 本稿では,スパースビュー画像を用いたガウススティング(GS)の拡散モデルであるNovellGSを紹介する。 最近の研究は、フィードフォワードネットワークを活用して、高速にレンダリングできるピクセル整列ガウスを生成する。 残念ながら, これらの手法の定式化により, 入力画像でカバーされていない領域に対して, 良好な結果が得られなかった。 対照的に、3Dガウスを生成するためにトランスフォーマーネットワークを経由した新しい視点を利用する。 具体的には、条件付きビューとノイズの多いターゲットビューの両方を組み込むことで、各ビューに対して画素対応のガウスを予測する。 訓練中、レンダリングされた目標とガウス人のいくつかの追加の見解が監督されている。 推論中、対象のビューは反復的にレンダリングされ、純粋なノイズからデノーズされる。 提案手法は,多視点画像再構成の課題に対処する上で,最先端の性能を示すものである。 未知の領域の生成的モデリングのため、NovellGSは、一貫性のある鋭いテクスチャで3Dオブジェクトを効果的に再構築する。 公開されているデータセットの実験結果は,NovellGSが既存の画像から3Dのフレームワークを大幅に上回っていることを示している。 また,既存のマルチビュー拡散モデルと統合することにより,テキスト・ツー・3Dや画像・ツー・3Dといった生成タスクにおけるNovellGSの可能性を示す。 コードを公開して公開します。

関連論文リスト

• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• UniG: Modelling Unitary 3D Gaussians for View-consistent 3D Reconstruction [20.089890859122168]
  ビュー一貫性を持つ3次元再構成と新しいビュー合成モデルUniGを提案する。 UniGはスパース画像から3Dガウスの高忠実度表現を生成する。
  論文  参考訳（メタデータ） (2024-10-17T03:48:02Z)
• EVA-Gaussian: 3D Gaussian-based Real-time Human Novel View Synthesis under Diverse Camera Settings [11.248908608011941]
  EVA-Gaussianは、多様なカメラ設定にまたがる3D人間の新しいビュー合成のためのリアルタイムパイプラインである。 本稿では,ソース画像から各3次元ガウスの位置を正確に推定するために,EVA (Efficient Cross-View Attention) モジュールを提案する。 我々は3次元ガウス属性と人間の顔のランドマークの両方に強力なアンカー損失関数を組み込んだ。
  論文  参考訳（メタデータ） (2024-10-02T11:23:08Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• MVGamba: Unify 3D Content Generation as State Space Sequence Modeling [150.80564081817786]
  本稿では,多視点ガウス再構成器を備えた一般軽量ガウス再構成モデルMVGambaを紹介する。 オフザディテールのマルチビュー拡散モデルを統合することで、MVGambaは単一の画像、スパース画像、テキストプロンプトから3D生成タスクを統一する。 実験により、MVGambaは、すべての3Dコンテンツ生成シナリオで最先端のベースラインを約0.1タイムのモデルサイズで上回ります。
  論文  参考訳（メタデータ） (2024-06-10T15:26:48Z)
• GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting [11.791944275269266]
  メッシュと同じようにガウス成分を修正可能なガウスメッシュスプラッティング(GaMeS)モデルを導入する。 また、メッシュ上の位置のみに基づいてガウススプレートを定義し、アニメーション中の位置、スケール、回転を自動的に調整する。
  論文  参考訳（メタデータ） (2024-02-02T14:50:23Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• GaussianDiffusion: 3D Gaussian Splatting for Denoising Diffusion Probabilistic Models with Structured Noise [0.0]
  本稿では,ガウススプラッティングに基づく3次元コンテンツ生成フレームワークについて紹介する。 3次元生成における多視点一貫性の実現という課題は、モデリングの複雑さと精度を著しく損なう。
  論文  参考訳（メタデータ） (2023-11-19T04:26:16Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。