論文の概要: NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model

• arxiv url: http://arxiv.org/abs/2411.16779v1
• Date: Mon, 25 Nov 2024 07:57:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:35:37.248976
• Title: NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model
• Title（参考訳）: NovelGS: 巨大ガウス再構成モデルによる一貫したノベルビューデノベーション
• Authors: Jinpeng Liu, Jiale Xu, Weihao Cheng, Yiming Gao, Xintao Wang, Ying Shan, Yansong Tang,
• Abstract要約: NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。 我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
• 参考スコア（独自算出の注目度）: 57.92709692193132
• License:
• Abstract: We introduce NovelGS, a diffusion model for Gaussian Splatting (GS) given sparse-view images. Recent works leverage feed-forward networks to generate pixel-aligned Gaussians, which could be fast rendered. Unfortunately, the method was unable to produce satisfactory results for areas not covered by the input images due to the formulation of these methods. In contrast, we leverage the novel view denoising through a transformer-based network to generate 3D Gaussians. Specifically, by incorporating both conditional views and noisy target views, the network predicts pixel-aligned Gaussians for each view. During training, the rendered target and some additional views of the Gaussians are supervised. During inference, the target views are iteratively rendered and denoised from pure noise. Our approach demonstrates state-of-the-art performance in addressing the multi-view image reconstruction challenge. Due to generative modeling of unseen regions, NovelGS effectively reconstructs 3D objects with consistent and sharp textures. Experimental results on publicly available datasets indicate that NovelGS substantially surpasses existing image-to-3D frameworks, both qualitatively and quantitatively. We also demonstrate the potential of NovelGS in generative tasks, such as text-to-3D and image-to-3D, by integrating it with existing multiview diffusion models. We will make the code publicly accessible.
• Abstract（参考訳）: 本稿では,スパースビュー画像を用いたガウススティング(GS)の拡散モデルであるNovellGSを紹介する。 最近の研究は、フィードフォワードネットワークを活用して、高速にレンダリングできるピクセル整列ガウスを生成する。 残念ながら, これらの手法の定式化により, 入力画像でカバーされていない領域に対して, 良好な結果が得られなかった。 対照的に、3Dガウスを生成するためにトランスフォーマーネットワークを経由した新しい視点を利用する。 具体的には、条件付きビューとノイズの多いターゲットビューの両方を組み込むことで、各ビューに対して画素対応のガウスを予測する。 訓練中、レンダリングされた目標とガウス人のいくつかの追加の見解が監督されている。 推論中、対象のビューは反復的にレンダリングされ、純粋なノイズからデノーズされる。 提案手法は,多視点画像再構成の課題に対処する上で,最先端の性能を示すものである。 未知の領域の生成的モデリングのため、NovellGSは、一貫性のある鋭いテクスチャで3Dオブジェクトを効果的に再構築する。 公開されているデータセットの実験結果は,NovellGSが既存の画像から3Dのフレームワークを大幅に上回っていることを示している。 また,既存のマルチビュー拡散モデルと統合することにより,テキスト・ツー・3Dや画像・ツー・3Dといった生成タスクにおけるNovellGSの可能性を示す。 コードを公開して公開します。

関連論文リスト

• F3D-Gaus: Feed-forward 3D-aware Generation on ImageNet with Cycle-Consistent Gaussian Splatting [35.625593119642424]
  本稿では,モノケプラーデータセットから3次元認識を一般化する問題に取り組む。 画素整列型ガウススプラッティングに基づく新しいフィードフォワードパイプラインを提案する。 また、学習した3D表現において、クロスビューの一貫性を強制するために、自己教師付きサイクル一貫性制約を導入する。
  論文  参考訳（メタデータ） (2025-01-12T04:44:44Z)
• DehazeGS: Seeing Through Fog with 3D Gaussian Splatting [17.119969983512533]
  DehazeGSは,霧のない背景をメディアから分解・レンダリングできる手法である。 合成と実世界の霧のデータセットの実験は、DehazeGSが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-01-07T09:47:46Z)
• DSplats: 3D Generation by Denoising Splats-Based Multiview Diffusion Models [67.50989119438508]
  本稿では,ガウスをベースとしたレコンストラクタを用いて,リアルな3Dアセットを生成することで,マルチビュー画像を直接認識するDSplatを紹介した。 実験の結果,DSplatsは高品質で空間的に一貫した出力を生成できるだけでなく,単一画像から3次元再構成への新たな標準も設定できることがわかった。
  論文  参考訳（メタデータ） (2024-12-11T07:32:17Z)
• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• UniG: Modelling Unitary 3D Gaussians for View-consistent 3D Reconstruction [20.089890859122168]
  ビュー一貫性を持つ3次元再構成と新しいビュー合成モデルUniGを提案する。 UniGはスパース画像から3Dガウスの高忠実度表現を生成する。
  論文  参考訳（メタデータ） (2024-10-17T03:48:02Z)
• AugGS: Self-augmented Gaussians with Structural Masks for Sparse-view 3D Reconstruction [9.953394373473621]
  スパースビュー3D再構成はコンピュータビジョンにおける大きな課題である。 本研究では,スパース・ビュー3D再構成のための構造マスクを付加した自己拡張型2段ガウス・スプレイティング・フレームワークを提案する。 提案手法は,認識品質における最先端性能と,スパース入力との多視点整合性を実現する。
  論文  参考訳（メタデータ） (2024-08-09T03:09:22Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• MVGamba: Unify 3D Content Generation as State Space Sequence Modeling [150.80564081817786]
  本稿では,多視点ガウス再構成器を備えた一般軽量ガウス再構成モデルMVGambaを紹介する。 オフザディテールのマルチビュー拡散モデルを統合することで、MVGambaは単一の画像、スパース画像、テキストプロンプトから3D生成タスクを統一する。 実験により、MVGambaは、すべての3Dコンテンツ生成シナリオで最先端のベースラインを約0.1タイムのモデルサイズで上回ります。
  論文  参考訳（メタデータ） (2024-06-10T15:26:48Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• GaussianDiffusion: 3D Gaussian Splatting for Denoising Diffusion Probabilistic Models with Structured Noise [0.0]
  本稿では3Dコンテンツ生成フレームワークであるGaussian Diffusionについて,Gaussian Splattingに基づく新しいテキストを紹介した。 3次元生成における多視点一貫性の実現という課題は、モデリングの複雑さと精度を著しく損なう。 本稿では,3次元外観の質と安定性を高めるため,変分ガウススメッティング法を提案する。
  論文  参考訳（メタデータ） (2023-11-19T04:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。