論文の概要: MVGS: Multi-view-regulated Gaussian Splatting for Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2410.02103v1
- Date: Wed, 2 Oct 2024 23:48:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 08:45:48.552761
- Title: MVGS: Multi-view-regulated Gaussian Splatting for Novel View Synthesis
- Title（参考訳）: MVGS:新しいビュー合成のための多視点制御ガウス平滑化
- Authors: Xiaobiao Du, Yida Wang, Xin Yu,
- Abstract要約: ボリュームレンダリングにおける最近の研究、例えばNeRFや3D Gaussian Splatting (3DGS)は、レンダリング品質と効率を大幅に向上させた。
4つの重要な貢献を具現化した新しい3DGS最適化手法を提案する。
- 参考スコア（独自算出の注目度）: 22.80370814838661
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent works in volume rendering, \textit{e.g.} NeRF and 3D Gaussian Splatting (3DGS), significantly advance the rendering quality and efficiency with the help of the learned implicit neural radiance field or 3D Gaussians. Rendering on top of an explicit representation, the vanilla 3DGS and its variants deliver real-time efficiency by optimizing the parametric model with single-view supervision per iteration during training which is adopted from NeRF. Consequently, certain views are overfitted, leading to unsatisfying appearance in novel-view synthesis and imprecise 3D geometries. To solve aforementioned problems, we propose a new 3DGS optimization method embodying four key novel contributions: 1) We transform the conventional single-view training paradigm into a multi-view training strategy. With our proposed multi-view regulation, 3D Gaussian attributes are further optimized without overfitting certain training views. As a general solution, we improve the overall accuracy in a variety of scenarios and different Gaussian variants. 2) Inspired by the benefit introduced by additional views, we further propose a cross-intrinsic guidance scheme, leading to a coarse-to-fine training procedure concerning different resolutions. 3) Built on top of our multi-view regulated training, we further propose a cross-ray densification strategy, densifying more Gaussian kernels in the ray-intersect regions from a selection of views. 4) By further investigating the densification strategy, we found that the effect of densification should be enhanced when certain views are distinct dramatically. As a solution, we propose a novel multi-view augmented densification strategy, where 3D Gaussians are encouraged to get densified to a sufficient number accordingly, resulting in improved reconstruction accuracy.
- Abstract（参考訳）: 近年のボリュームレンダリング, \textit{e g } NeRF と 3D Gaussian Splatting (3DGS) の研究は、学習された暗黙的神経放射場や3D Gaussian の助けを借りて、レンダリング品質と効率を大幅に向上させた。
明示的な表現の上にレンダリングすることで、バニラ3DGSとその変種は、NeRFから採用されているトレーニング中に、反復ごとに単一ビューの監督でパラメトリックモデルを最適化することで、リアルタイムの効率を提供する。
その結果、いくつかのビューは過度に適合し、新規なビュー合成と不正確な3Dジオメトリで不満足な外観となる。
上記の問題を解決するために,4つの重要な貢献を具現化した新しい3DGS最適化手法を提案する。
1) 従来のシングルビュートレーニングパラダイムをマルチビュートレーニング戦略に変換する。
提案したマルチビューレギュレーションでは、特定のトレーニングビューを過度に適合させることなく、3Dガウス属性をさらに最適化する。
一般解として、様々なシナリオと異なるガウス多様体の全体的な精度を改善する。
2)追加の視点によってもたらされた利益に触発されて,我々はさらに,異なる解決方法に関する粗大な訓練手順を導出する,内在的な指導スキームを提案する。
3) マルチビュー規制トレーニングの上に構築されたクロスレイデシフィケーション戦略により, 複数視点からの視線干渉領域のガウス核の密度を増大させる。
4) デンシフィケーション戦略のさらなる検討により, 特定の視点が劇的に異なる場合には, デンシフィケーションの効果を高めることが確認された。
そこで本研究では,3次元ガウシアンに対して十分な数の密度化を奨励し,再現精度を向上する,新しい多面的拡張密度化戦略を提案する。
関連論文リスト
- NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。
我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
論文 参考訳（メタデータ） (2024-11-25T07:57:17Z) - PEP-GS: Perceptually-Enhanced Precise Structured 3D Gaussians for View-Adaptive Rendering [3.285531771049763]
ビューアダプティブレンダリングのための構造化3次元ガウスの最近の進歩は、ニューラルシーン表現において有望な結果を示している。
PEP-GSは3つの重要な革新を通じて構造化された3次元ガウシアンを強化する新しいフレームワークである。
複数のデータセットにわたる包括的な評価は、現在の最先端の手法と比較して、これらの改善が特に困難なシナリオで顕著であることを示している。
論文 参考訳（メタデータ） (2024-11-08T17:42:02Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - TranSplat: Generalizable 3D Gaussian Splatting from Sparse Multi-View Images with Transformers [14.708092244093665]
我々は,正確な局所特徴マッチングを導くために,予測深度信頼マップを利用する戦略を開発する。
本稿では,RealEstate10KベンチマークとACIDベンチマークの両方で最高の性能を示すTranSplatという新しいG-3DGS手法を提案する。
論文 参考訳（メタデータ） (2024-08-25T08:37:57Z) - Effective Rank Analysis and Regularization for Enhanced 3D Gaussian Splatting [33.01987451251659]
3D Gaussian Splatting(3DGS)は、高品質な3D再構成によるリアルタイムレンダリングが可能な有望な技術として登場した。
その可能性にもかかわらず、3DGSは針のようなアーティファクト、準最適ジオメトリー、不正確な正常など、課題に直面している。
正規化として有効なランクを導入し、ガウスの構造を制約する。
論文 参考訳（メタデータ） (2024-06-17T15:51:59Z) - CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
2次元画像空間で制御できる構造付きガウス表現を導入する。
次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。
我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
論文 参考訳（メタデータ） (2024-03-28T15:27:13Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳（メタデータ） (2024-02-22T16:00:20Z) - GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳（メタデータ） (2023-12-04T18:59:55Z) - FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。
このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。
FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-12-01T09:30:02Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。