論文の概要: Few-shot Novel View Synthesis using Depth Aware 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2410.11080v1
• Date: Mon, 14 Oct 2024 20:42:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:03:17.070843
• Title: Few-shot Novel View Synthesis using Depth Aware 3D Gaussian Splatting
• Title（参考訳）: 奥行き認識型3次元ガウス平滑化による新しい視点合成
• Authors: Raja Kumar, Vanshika Vats,
• Abstract要約: 3次元ガウススプラッティングは、新しいビュー合成における神経放射場法を超越している。 多数のインプットビューを備えた高品質なレンダリングを生成するが、ほんの数ビューしか利用できない場合、パフォーマンスは大幅に低下する。 数発の新規ビュー合成のための奥行き認識型ガウススプラッティング法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: 3D Gaussian splatting has surpassed neural radiance field methods in novel view synthesis by achieving lower computational costs and real-time high-quality rendering. Although it produces a high-quality rendering with a lot of input views, its performance drops significantly when only a few views are available. In this work, we address this by proposing a depth-aware Gaussian splatting method for few-shot novel view synthesis. We use monocular depth prediction as a prior, along with a scale-invariant depth loss, to constrain the 3D shape under just a few input views. We also model color using lower-order spherical harmonics to avoid overfitting. Further, we observe that removing splats with lower opacity periodically, as performed in the original work, leads to a very sparse point cloud and, hence, a lower-quality rendering. To mitigate this, we retain all the splats, leading to a better reconstruction in a few view settings. Experimental results show that our method outperforms the traditional 3D Gaussian splatting methods by achieving improvements of 10.5% in peak signal-to-noise ratio, 6% in structural similarity index, and 14.1% in perceptual similarity, thereby validating the effectiveness of our approach. The code will be made available at: https://github.com/raja-kumar/depth-aware-3DGS
• Abstract（参考訳）: 3次元ガウススプラッティングは、より低い計算コストとリアルタイムの高画質レンダリングを達成し、新しいビュー合成におけるニューラルラディアンス場法を超越した。 多くのインプットビューを持つ高品質なレンダリングを生成するが、ほんの数ビューしか利用できない場合、パフォーマンスは大幅に低下する。 本研究は,数発の新規ビュー合成のための奥行き認識型ガウススプラッティング法を提案することで,この問題に対処する。 単分子深度予測とスケール不変の深度損失を用いて,わずかに入力ビューで3次元形状を制約する。 また、オーバーフィッティングを避けるために、低次の球面高調波を用いて色をモデル化する。 さらに,本研究で行ったように,不透明度が低いスプレートを定期的に除去すると,非常に粗い点雲となり,その結果,低品質なレンダリングが得られることが観察された。 これを緩和するために、私たちはすべてのスプレートを保持し、いくつかのビュー設定でより良い再構築をしました。 実験結果から,本手法はピーク信号-雑音比10.5%,構造類似度指数6%,知覚類似度14.1%の改善を達成し,従来の3次元ガウス法よりも優れた性能を示し,提案手法の有効性を検証した。 コードは、https://github.com/raja-kumar/deepth-aware-3DGSで利用可能になる。

関連論文リスト

• Binocular-Guided 3D Gaussian Splatting with View Consistency for Sparse View Synthesis [53.702118455883095]
  本稿では,ガウススプラッティングを用いたスパースビューから新しいビューを合成する新しい手法を提案する。 私たちのキーとなるアイデアは、両眼画像間の両眼立体的一貫性に固有の自己超越を探索することにあります。 我々の手法は最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T15:10:27Z)
• MVPGS: Excavating Multi-view Priors for Gaussian Splatting from Sparse Input Views [27.47491233656671]
  新規ビュー合成(NVS)は3次元視覚アプリケーションにおいて重要な課題である。 我々は,3次元ガウススプラッティングに基づくマルチビュー先行を探索する数ショットNVS法である textbfMVPGS を提案する。 実験により,提案手法はリアルタイムレンダリング速度で最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-09-22T05:07:20Z)
• Splatt3R: Zero-shot Gaussian Splatting from Uncalibrated Image Pairs [29.669534899109028]
  Splatt3Rはポーズレスフィードフォワード方式で,立体対からの3次元再構成と新しいビュー合成を行う。 Splatt3Rは補正されていない自然画像から、カメラパラメータや深度情報を必要とせずに3Dガウススプラッターを予測できる。 Splatt3Rは512 x 512の解像度で4FPSでシーンを再構築でき、その結果のスプラッターをリアルタイムでレンダリングできる。
  論文  参考訳（メタデータ） (2024-08-25T18:27:20Z)
• Flash3D: Feed-Forward Generalisable 3D Scene Reconstruction from a Single Image [80.48452783328995]
  Flash3Dは、1つの画像からシーン再構成と新しいビュー合成を行う方法である。 一般性については、単分子深度推定のための「基礎」モデルから始める。 効率性のために、我々はこの拡張をフィードフォワードガウススプラッティングに基づける。
  論文  参考訳（メタデータ） (2024-06-06T17:59:56Z)
• AbsGS: Recovering Fine Details for 3D Gaussian Splatting [10.458776364195796]
  3D Gaussian Splatting (3D-GS) 技術は3Dプリミティブを相違可能なガウス化と組み合わせて高品質な新規ビュー結果を得る。 しかし、3D-GSは、高頻度の詳細を含む複雑なシーンで過度に再構成の問題に悩まされ、ぼやけた描画画像に繋がる。 本稿では,前述の人工物,すなわち勾配衝突の原因を包括的に分析する。 我々の戦略は過度に再構成された地域のガウス人を効果的に同定し、分割して細部を復元する。
  論文  参考訳（メタデータ） (2024-04-16T11:44:12Z)
• StopThePop: Sorted Gaussian Splatting for View-Consistent Real-time Rendering [42.91830228828405]
  本稿では,処理オーバーヘッドを最小限に抑えた新しい階層化手法を提案する。 提案手法はガウス版よりも平均で4%遅い。 レンダリング性能はほぼ2倍に向上し,従来のガウス版よりも1.6倍高速になった。
  論文  参考訳（メタデータ） (2024-02-01T11:46:44Z)
• Deblurring 3D Gaussian Splatting [7.315329140016319]
  MLP(Multi-Layer Perceptron)を用いた3次元ガウス平滑化のための新しいリアルタイムデブロアリングフレームワークを提案する。 Deblurring 3D Gaussian Splattingはリアルタイムレンダリングを楽しめるが、ぼやけた画像から細かで鋭いディテールを再構築することができる。
  論文  参考訳（メタデータ） (2024-01-01T18:23:51Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting [113.37908093915837]
  既存の方法は、スコア蒸留サンプリング(SDS)を通じてメッシュやニューラルフィールドのような3D表現を最適化する。 本稿では,高精細な形状とリアルな外観を持つ高品質な3D人間を創出する,効率的かつ効果的な枠組みであるHumanGaussianを提案する。
  論文  参考訳（メタデータ） (2023-11-28T18:59:58Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)
• View Synthesis with Sculpted Neural Points [64.40344086212279]
  暗黙の神経表現は印象的な視覚的品質を達成したが、計算効率に欠点がある。 本稿では,点雲を用いたビュー合成を行う新しい手法を提案する。 レンダリング速度を100倍以上速くしながら、NeRFよりも視覚的品質を向上する最初のポイントベース手法である。
  論文  参考訳（メタデータ） (2022-05-12T03:54:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。