論文の概要: NeRF-HuGS: Improved Neural Radiance Fields in Non-static Scenes Using Heuristics-Guided Segmentation
- arxiv url: http://arxiv.org/abs/2403.17537v1
- Date: Tue, 26 Mar 2024 09:42:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 15:57:01.670984
- Title: NeRF-HuGS: Improved Neural Radiance Fields in Non-static Scenes Using Heuristics-Guided Segmentation
- Title(参考訳): NeRF-HuGS:Huistics-Guided Segmentation を用いた非定常シーンにおけるニューラル放射場の改善
- Authors: Jiahao Chen, Yipeng Qin, Lingjie Liu, Jiangbo Lu, Guanbin Li,
- Abstract要約: 我々は,HuGS(Huristics-Guided harmonily)という新しいパラダイムを提案する。
HuGSは、手作り合成の強さと最先端セグメンテーションモデルを組み合わせることで、過渡的イントラクタからの静的シーンの分離を大幅に強化する。
非定常場面で訓練されたNeRFの過渡的乱れを緩和する手法の優位性とロバスト性を示す実験を行った。
- 参考スコア(独自算出の注目度): 76.02304140027087
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Field (NeRF) has been widely recognized for its excellence in novel view synthesis and 3D scene reconstruction. However, their effectiveness is inherently tied to the assumption of static scenes, rendering them susceptible to undesirable artifacts when confronted with transient distractors such as moving objects or shadows. In this work, we propose a novel paradigm, namely "Heuristics-Guided Segmentation" (HuGS), which significantly enhances the separation of static scenes from transient distractors by harmoniously combining the strengths of hand-crafted heuristics and state-of-the-art segmentation models, thus significantly transcending the limitations of previous solutions. Furthermore, we delve into the meticulous design of heuristics, introducing a seamless fusion of Structure-from-Motion (SfM)-based heuristics and color residual heuristics, catering to a diverse range of texture profiles. Extensive experiments demonstrate the superiority and robustness of our method in mitigating transient distractors for NeRFs trained in non-static scenes. Project page: https://cnhaox.github.io/NeRF-HuGS/.
- Abstract(参考訳): ニューラル・ラジアンス・フィールド(NeRF)は、新しいビュー合成と3次元シーン再構成に優れていたことが広く認識されている。
しかし、それらの効果は本質的に静的な場面の仮定と結びついており、移動物体や影のような過渡的な邪魔者に直面しているときに、望ましくない人工物に感受性がある。
本研究では,手作りヒューリスティックスと最先端セグメンテーションモデルの強みを調和させることにより,静的シーンと過渡的気晴らしの分離を著しく促進する新しいパラダイム,HuGSを提案する。
さらに、我々はヒューリスティックスを綿密に設計し、SfM(Structure-from-Motion)ベースのヒューリスティックスとカラー残留ヒューリスティックスをシームレスに融合させ、多様なテクスチャプロファイルに対応させた。
非定常場面で訓練されたNeRFの過渡的乱れを緩和する手法の優位性とロバスト性を示す実験を行った。
プロジェクトページ:https://cnhaox.github.io/NeRF-HuGS/。
関連論文リスト
- Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。
本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。
我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
論文 参考訳(メタデータ) (2024-04-15T17:59:57Z) - 3D Visibility-aware Generalizable Neural Radiance Fields for Interacting
Hands [51.305421495638434]
ニューラル放射場(NeRF)は、シーン、オブジェクト、人間の3D表現を約束する。
本稿では,手動操作のための一般化可能な視認可能なNeRFフレームワークを提案する。
Interhand2.6Mデータセットの実験により、提案したVA-NeRFは従来のNeRFよりも著しく優れていることが示された。
論文 参考訳(メタデータ) (2024-01-02T00:42:06Z) - Enhance-NeRF: Multiple Performance Evaluation for Neural Radiance Fields [2.5432277893532116]
ニューラル・ラジアンス・フィールド(NeRF)は任意の視点からリアルな画像を生成することができる。
NeRFベースのモデルは、色付きの"fog"ノイズによって引き起こされる干渉問題の影響を受けやすい。
当社のアプローチはEnhance-NeRFと呼ばれ、低反射率と高反射率のオブジェクトの表示のバランスをとるためにジョイントカラーを採用している。
論文 参考訳(メタデータ) (2023-06-08T15:49:30Z) - Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。
このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。
ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
論文 参考訳(メタデータ) (2023-04-10T08:36:00Z) - BLiRF: Bandlimited Radiance Fields for Dynamic Scene Modeling [43.246536947828844]
本稿では,帯域制限された高次元信号の合成としてシーンを定式化し,時間と空間を分解するフレームワークを提案する。
我々は、照明、テクスチャ、長距離ダイナミクスの変化を含む複雑な動的シーンにまたがる魅力的な結果を実証する。
論文 参考訳(メタデータ) (2023-02-27T06:40:32Z) - RobustNeRF: Ignoring Distractors with Robust Losses [26.22387407623334]
我々は、最適化問題の解として、NeRFトレーニングのためのロバストな推定形式を提唱し、トレーニングデータのイントラクタをモデリングする。
本手法は, シーンから外れ値を取り除き, ベースライン, 合成シーン, 現実シーンを改良する。
論文 参考訳(メタデータ) (2023-02-02T02:45:23Z) - An Exploration of Neural Radiance Field Scene Reconstruction: Synthetic,
Real-world and Dynamic Scenes [1.5855686282251258]
我々は、ニューラルネットワークプリミティブのトレーニングとレンダリング時間の短縮を利用して、静的なビデオゲームシーンや実世界のシーンを再構築する。
我々はD-NeRFの実装を拡張し、合成シーンを現実の動的シーンも扱うように制約した。
論文 参考訳(メタデータ) (2022-10-21T21:51:17Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳(メタデータ) (2022-09-02T17:44:50Z) - NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。
NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。
大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
論文 参考訳(メタデータ) (2020-10-15T03:24:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。