論文の概要: CoR-GS: Sparse-View 3D Gaussian Splatting via Co-Regularization
- arxiv url: http://arxiv.org/abs/2405.12110v1
- Date: Mon, 20 May 2024 15:25:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 12:45:20.574831
- Title: CoR-GS: Sparse-View 3D Gaussian Splatting via Co-Regularization
- Title（参考訳）: CoR-GS: Sparse-View 3D Gaussian Splatting by Co-Regularization
- Authors: Jiawei Zhang, Jiahe Li, Xiaohan Yu, Lei Huang, Lin Gu, Jin Zheng, Xiao Bai,
- Abstract要約: 3Dガウススティング(3DGS)は、シーンを表現するために3Dガウスアンからなる放射場を生成する。
スパーストレーニングの視点では、3DGSは容易にオーバーフィッティングに悩まされ、再建の質に悪影響を及ぼす。
本稿では、スパースビュー3DGSを改善するための新しい協調正規化視点を提案する。
- 参考スコア（独自算出の注目度）: 18.812931129987515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting (3DGS) creates a radiance field consisting of 3D Gaussians to represent a scene. With sparse training views, 3DGS easily suffers from overfitting, negatively impacting the reconstruction quality. This paper introduces a new co-regularization perspective for improving sparse-view 3DGS. When training two 3D Gaussian radiance fields with the same sparse views of a scene, we observe that the two radiance fields exhibit \textit{point disagreement} and \textit{rendering disagreement} that can unsupervisedly predict reconstruction quality, stemming from the sampling implementation in densification. We further quantify the point disagreement and rendering disagreement by evaluating the registration between Gaussians' point representations and calculating differences in their rendered pixels. The empirical study demonstrates the negative correlation between the two disagreements and accurate reconstruction, which allows us to identify inaccurate reconstruction without accessing ground-truth information. Based on the study, we propose CoR-GS, which identifies and suppresses inaccurate reconstruction based on the two disagreements: (\romannumeral1) Co-pruning considers Gaussians that exhibit high point disagreement in inaccurate positions and prunes them. (\romannumeral2) Pseudo-view co-regularization considers pixels that exhibit high rendering disagreement are inaccurately rendered and suppress the disagreement. Results on LLFF, Mip-NeRF360, DTU, and Blender demonstrate that CoR-GS effectively regularizes the scene geometry, reconstructs the compact representations, and achieves state-of-the-art novel view synthesis quality under sparse training views.
- Abstract（参考訳）: 3Dガウススティング(3DGS)は、シーンを表現するために3Dガウスアンからなる放射場を生成する。
スパーストレーニングの視点では、3DGSは容易にオーバーフィッティングに悩まされ、再建の質に悪影響を及ぼす。
本稿では、スパースビュー3DGSを改善するための新しい協調正規化視点を提案する。
また,2つの3次元ガウス放射場をシーンのスパークビューで訓練すると,2つの放射場が,非監督的に再現品質を予測できる「textit{point disagreement」と「textit{rendering disagreement」を呈することが明らかとなった。
さらに、ガウスの点表現間の登録を評価し、その描画画素の差を計算することにより、点不一致と描画不一致をさらに定量化する。
実験により,2つの相違点と正確な復元点との負の相関が示され,不正確な復元点の同定が可能となった。
本研究では,2つの相違点に基づいて不正確な再構築を抑えるCoR-GSを提案する。
(『クロマンメラル2』)
Pseudo-viewのコレギュラー化では、高いレンダリング不一致を示すピクセルは不正確にレンダリングされ、不一致を抑制する。
LLFF, Mip-NeRF360, DTU, Blenderの結果, CoR-GSはシーン形状を効果的に調整し, コンパクトな表現を再構築し, スパーストレーニングビュー下での最先端のノベルビュー合成品質を実現することを示した。
関連論文リスト
- Effective Rank Analysis and Regularization for Enhanced 3D Gaussian Splatting [33.01987451251659]
3D Gaussian Splatting(3DGS)は、高品質な3D再構成によるリアルタイムレンダリングが可能な有望な技術として登場した。
その可能性にもかかわらず、3DGSは針のようなアーティファクト、準最適ジオメトリー、不正確な正常など、課題に直面している。
正規化として有効なランクを導入し、ガウスの構造を制約する。
論文 参考訳（メタデータ） (2024-06-17T15:51:59Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - RefGaussian: Disentangling Reflections from 3D Gaussian Splatting for Realistic Rendering [18.427759763663047]
本稿では3D-GSからの反射を現実的にモデル化するRefGaussianを提案する。
伝送成分と反射成分の両方に対して局所的な滑らかさを確保するために局所正規化手法を用いる。
提案手法は,より優れた新規な視点合成と高精度な深度推定結果を実現する。
論文 参考訳（メタデータ） (2024-06-09T16:49:39Z) - RaDe-GS: Rasterizing Depth in Gaussian Splatting [32.38730602146176]
Gaussian Splatting (GS) は、高品質でリアルタイムなレンダリングを実現するために、新しいビュー合成に非常に効果的であることが証明されている。
本研究は,DTUデータセット上のNeuraLangeloに匹敵するチャムファー距離誤差を導入し,元の3D GS法と同様の計算効率を維持する。
論文 参考訳（メタデータ） (2024-06-03T15:56:58Z) - FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。
ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
論文 参考訳（メタデータ） (2024-05-28T08:40:14Z) - AbsGS: Recovering Fine Details for 3D Gaussian Splatting [10.458776364195796]
3D Gaussian Splatting (3D-GS) 技術は3Dプリミティブを相違可能なガウス化と組み合わせて高品質な新規ビュー結果を得る。
しかし、3D-GSは、高頻度の詳細を含む複雑なシーンで過度に再構成の問題に悩まされ、ぼやけた描画画像に繋がる。
本稿では,前述の人工物,すなわち勾配衝突の原因を包括的に分析する。
我々の戦略は過度に再構成された地域のガウス人を効果的に同定し、分割して細部を復元する。
論文 参考訳（メタデータ） (2024-04-16T11:44:12Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳（メタデータ） (2024-03-26T17:21:24Z) - Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳（メタデータ） (2024-02-07T12:36:54Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳（メタデータ） (2023-11-26T02:35:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。