論文の概要: VEGS: View Extrapolation of Urban Scenes in 3D Gaussian Splatting using Learned Priors
- arxiv url: http://arxiv.org/abs/2407.02945v2
- Date: Thu, 4 Jul 2024 02:27:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 12:11:55.332940
- Title: VEGS: View Extrapolation of Urban Scenes in 3D Gaussian Splatting using Learned Priors
- Title（参考訳）: VEGS:学習先行情報を用いた3次元ガウス平滑化における都市景観の可視化
- Authors: Sungwon Hwang, Min-Jung Kim, Taewoong Kang, Jayeon Kang, Jaegul Choo,
- Abstract要約: 本研究では,左,右,下などの視界の再構成を評価することで,外挿ビュー合成(EVS)問題に対処する。
我々の知る限りでは、都市景観再建におけるESV問題に最初に取り組む人物である。
- 参考スコア（独自算出の注目度）: 32.02774117064752
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural rendering-based urban scene reconstruction methods commonly rely on images collected from driving vehicles with cameras facing and moving forward. Although these methods can successfully synthesize from views similar to training camera trajectory, directing the novel view outside the training camera distribution does not guarantee on-par performance. In this paper, we tackle the Extrapolated View Synthesis (EVS) problem by evaluating the reconstructions on views such as looking left, right or downwards with respect to training camera distributions. To improve rendering quality for EVS, we initialize our model by constructing dense LiDAR map, and propose to leverage prior scene knowledge such as surface normal estimator and large-scale diffusion model. Qualitative and quantitative comparisons demonstrate the effectiveness of our methods on EVS. To the best of our knowledge, we are the first to address the EVS problem in urban scene reconstruction. Link to our project page: https://vegs3d.github.io/.
- Abstract（参考訳）: ニューラルレンダリングに基づく都市景観再構築手法は、一般的に、カメラが対向して前進する運転車両から収集された画像に頼っている。
これらの方法は、トレーニングカメラの軌跡と同様のビューからうまく合成できるが、トレーニングカメラの外部に新しいビューを誘導することは、オンパー性能を保証しない。
本稿では, カメラ分布のトレーニングにおいて, 左, 右, 下などの視線に対する再構成を評価することで, EVS問題に対処する。
EVSのレンダリング品質を向上させるため,高密度LiDARマップの構築によりモデルの初期化を行い,表面正規推定器や大規模拡散モデルといった事前のシーン知識を活用することを提案する。
定性的および定量的な比較は,EVSにおける手法の有効性を示す。
我々の知る限りでは、都市景観再建におけるESV問題に最初に取り組む人物である。
プロジェクトページへのリンクは、https://vegs3d.github.io/.com/です。
関連論文リスト
- No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。
提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。
この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:58:22Z) - LM-Gaussian: Boost Sparse-view 3D Gaussian Splatting with Large Model Priors [34.91966359570867]
スパースビューの再構築は本質的に不適切であり、制約を受けていない。
本稿では,限られた画像から高品質な再構成を生成できるLM-Gaussianを紹介する。
提案手法は,従来の3DGS法と比較してデータ取得要求を大幅に削減する。
論文 参考訳（メタデータ） (2024-09-05T12:09:02Z) - Bootstrap 3D Reconstructed Scenes from 3D Gaussian Splatting [10.06208115191838]
トレーニングされた3D-GSを用いて,新しいビューのレンダリングを強化するブートストラップ手法を提案する。
以上の結果から,ブートストレッピングはアーティファクトを効果的に削減し,評価指標の明確化を図っている。
論文 参考訳（メタデータ） (2024-04-29T12:57:05Z) - SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。
この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。
そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
論文 参考訳（メタデータ） (2024-03-29T09:20:29Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳（メタデータ） (2024-02-27T11:40:50Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z) - FlowCam: Training Generalizable 3D Radiance Fields without Camera Poses
via Pixel-Aligned Scene Flow [26.528667940013598]
ポーズ画像からの3次元ニューラルネットワークの再構成は、自己教師付き表現学習の有望な方法として現れている。
これらの3Dシーンの学習者が大規模ビデオデータに展開するのを防ぐ重要な課題は、構造から移動までの正確なカメラポーズに依存することである。
本稿では,オンラインと1つのフォワードパスでカメラポーズと3Dニューラルシーン表現を共同で再構築する手法を提案する。
論文 参考訳（メタデータ） (2023-05-31T20:58:46Z) - Enhanced Stable View Synthesis [86.69338893753886]
本稿では,自由に動くカメラから撮影した画像から,新しいビュー合成を強化するアプローチを提案する。
導入されたアプローチは、正確な幾何学的足場とカメラのポーズの復元が困難な屋外シーンに焦点を当てている。
論文 参考訳（メタデータ） (2023-03-30T01:53:14Z) - Free View Synthesis [100.86844680362196]
本稿では,シーンの周囲に自由に分布する入力画像から新規なビュー合成手法を提案する。
本手法は,入力ビューの規則的な配置に依存しず,シーンを通して自由なカメラ運動のための画像の合成が可能であり,制約のない幾何学的レイアウトの一般的な場面で機能する。
論文 参考訳（メタデータ） (2020-08-12T18:16:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。