論文の概要: Segmentation-Guided Neural Radiance Fields for Novel Street View Synthesis
- arxiv url: http://arxiv.org/abs/2503.14219v1
- Date: Tue, 18 Mar 2025 12:54:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-19 14:14:41.177191
- Title: Segmentation-Guided Neural Radiance Fields for Novel Street View Synthesis
- Title（参考訳）: 新しいストリートビュー合成のためのセグメンテーション誘導型ニューラルラジアンス場
- Authors: Yizhou Li, Yusuke Monno, Masatoshi Okutomi, Yuuichi Tanaka, Seiichi Kataoka, Teruaki Kosiba,
- Abstract要約: 本研究では,屋外ストリートシーンに対するニューラルラジアンスフィールド(NeRF)のセグメンテーション誘導による拡張を提案する。
提案手法はZipNeRFを拡張し,グラウンドドSAMを用いてセグメンテーションマスク生成を行う。
また、ビューシーケンス間の不整合照明に適応するための外観埋め込みも導入する。
- 参考スコア（独自算出の注目度）: 11.110535737604302
- License:
- Abstract: Recent advances in Neural Radiance Fields (NeRF) have shown great potential in 3D reconstruction and novel view synthesis, particularly for indoor and small-scale scenes. However, extending NeRF to large-scale outdoor environments presents challenges such as transient objects, sparse cameras and textures, and varying lighting conditions. In this paper, we propose a segmentation-guided enhancement to NeRF for outdoor street scenes, focusing on complex urban environments. Our approach extends ZipNeRF and utilizes Grounded SAM for segmentation mask generation, enabling effective handling of transient objects, modeling of the sky, and regularization of the ground. We also introduce appearance embeddings to adapt to inconsistent lighting across view sequences. Experimental results demonstrate that our method outperforms the baseline ZipNeRF, improving novel view synthesis quality with fewer artifacts and sharper details.
- Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)の最近の進歩は、3次元再構成と新しいビュー・シンセサイザー(特に屋内・小規模シーン)に大きな可能性を示している。
しかし、NeRFを大規模屋外環境に拡張することは、過渡的な物体、スパースカメラやテクスチャ、様々な照明条件といった課題をもたらす。
本稿では,複雑な都市環境に着目した屋外ストリートシーンにおけるNeRFのセグメンテーション誘導による拡張を提案する。
提案手法はZipNeRFを拡張し,セグメンテーションマスク生成にグラウンドドSAMを用い,一貫した物体の効率的なハンドリング,空のモデリング,地上の規則化を実現している。
また、ビューシーケンス間の不整合照明に適応するための外観埋め込みも導入する。
実験により,本手法はZipNeRFよりも優れた性能を示し,より少ないアーティファクトとよりシャープなディテールで新規なビュー合成品質を向上させることができた。
関連論文リスト
- Exploiting Deblurring Networks for Radiance Fields [12.4982871657283]
我々は、ぼやけたトレーニングビューから高品質な新規ビューを合成できる新しい放射場デブロアリングアプローチであるDeepDeblurRFを提案する。
我々は,DeepDeblurRFが,トレーニング時間を大幅に短縮して,最先端のノベルビュー合成品質を達成できることを実証し,カメラモーションのぼかしとデフォーカスのぼかしの両方について広範な実験を行った。
論文 参考訳（メタデータ） (2025-02-20T11:11:18Z) - NeRF On-the-go: Exploiting Uncertainty for Distractor-free NeRFs in the Wild [55.154625718222995]
我々は,複雑なシーンにおける新規ビューのロバストな合成を可能にする,シンプルで効果的な方法であるNeRF On-the-goを紹介する。
本手法は,最先端技術よりも大幅に向上したことを示す。
論文 参考訳（メタデータ） (2024-05-29T02:53:40Z) - NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。
我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。
このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
論文 参考訳（メタデータ） (2024-05-23T17:59:57Z) - HarmonicNeRF: Geometry-Informed Synthetic View Augmentation for 3D Scene Reconstruction in Driving Scenarios [2.949710700293865]
HarmonicNeRFは、屋外の自己監督型単分子シーン再構築のための新しいアプローチである。
形状インフォームド合成ビューで入力空間を拡大することにより、NeRFの強度を生かし、表面再構成精度を高める。
提案手法は,新しい深度ビューを合成し,シーンを再構築するための新しいベンチマークを確立し,既存の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-10-09T07:42:33Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳（メタデータ） (2023-04-06T17:51:54Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳（メタデータ） (2022-09-02T17:44:50Z) - Urban Radiance Fields [77.43604458481637]
本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。
提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。
これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
論文 参考訳（メタデータ） (2021-11-29T15:58:16Z) - NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。
NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。
大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
論文 参考訳（メタデータ） (2020-10-15T03:24:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。