論文の概要: FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2312.00451v1
- Date: Fri, 1 Dec 2023 09:30:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 15:04:54.707944
- Title: FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting
- Title(参考訳): FSGS:ガウススプラッティングを用いた実時間Few-shotビュー合成
- Authors: Zehao Zhu, Zhiwen Fan, Yifan Jiang, Zhangyang Wang
- Abstract要約: 本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。
このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。
FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 63.8093511389908
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Novel view synthesis from limited observations remains an important and
persistent task. However, high efficiency in existing NeRF-based few-shot view
synthesis is often compromised to obtain an accurate 3D representation. To
address this challenge, we propose a few-shot view synthesis framework based on
3D Gaussian Splatting that enables real-time and photo-realistic view synthesis
with as few as three training views. The proposed method, dubbed FSGS, handles
the extremely sparse initialized SfM points with a thoughtfully designed
Gaussian Unpooling process. Our method iteratively distributes new Gaussians
around the most representative locations, subsequently infilling local details
in vacant areas. We also integrate a large-scale pre-trained monocular depth
estimator within the Gaussians optimization process, leveraging online
augmented views to guide the geometric optimization towards an optimal
solution. Starting from sparse points observed from limited input viewpoints,
our FSGS can accurately grow into unseen regions, comprehensively covering the
scene and boosting the rendering quality of novel views. Overall, FSGS achieves
state-of-the-art performance in both accuracy and rendering efficiency across
diverse datasets, including LLFF, Mip-NeRF360, and Blender. Project website:
https://zehaozhu.github.io/FSGS/.
- Abstract(参考訳): 限られた観測からの新しい視点合成は依然として重要かつ永続的な課題である。
しかし、既存のNeRFベースの小ショットビュー合成の高効率性はしばしば、正確な3D表現を得るために妥協される。
この課題に対処するため,我々は3次元ガウス型スプレーティングをベースとし,最大3次元のトレーニングビューでリアルタイムかつフォトリアリスティックなビュー合成を実現する,数ショットのビュー合成フレームワークを提案する。
提案手法はFSGSと呼ばれ,極端に疎い初期化SfM点を思慮深く設計したガウスアンアンプールプロセスで処理する。
提案手法は,新しいガウス群を最も代表的な場所周辺に反復的に分布させ,その後,空き領域に局所的な詳細情報を埋め込む。
また,gaussian最適化プロセスにおいて,事前学習された大規模単眼深度推定器を統合し,オンライン拡張ビューを利用して最適解への幾何最適化を導く。
限られた入力視点から見る疎点から, fsg は, シーンを包括的にカバーし, ノベルビューのレンダリング品質を高めることにより, 未熟な領域に正確に成長することができる。
全体として、FSGSはLLFF、Mip-NeRF360、Blenderなど、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを実現している。
プロジェクトサイト: https://zehaozhu.github.io/FSGS/。
関連論文リスト
- GES: Generalized Exponential Splatting for Efficient Radiance Field
Rendering [116.99325082775387]
GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。
周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
論文 参考訳(メタデータ) (2024-02-15T17:32:50Z) - GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for
Real-time Human Novel View Synthesis [73.7634042008412]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳(メタデータ) (2023-12-04T18:59:55Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [76.32477514781684]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳(メタデータ) (2023-11-26T02:35:09Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [54.56928482110888]
本稿では,まず3次元ガウス表現を同時局所化・マッピングシステムで利用するtextbfGS-SLAM$を紹介する。
提案手法では,地図の最適化とRGB-D再レンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2023-11-20T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。