論文の概要: NeRF-HuGS: Improved Neural Radiance Fields in Non-static Scenes Using Heuristics-Guided Segmentation

• arxiv url: http://arxiv.org/abs/2403.17537v1
• Date: Tue, 26 Mar 2024 09:42:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 15:57:01.670984
• Title: NeRF-HuGS: Improved Neural Radiance Fields in Non-static Scenes Using Heuristics-Guided Segmentation
• Title（参考訳）: NeRF-HuGS:Huistics-Guided Segmentation を用いた非定常シーンにおけるニューラル放射場の改善
• Authors: Jiahao Chen, Yipeng Qin, Lingjie Liu, Jiangbo Lu, Guanbin Li,
• Abstract要約: 我々は,HuGS(Huristics-Guided harmonily)という新しいパラダイムを提案する。 HuGSは、手作り合成の強さと最先端セグメンテーションモデルを組み合わせることで、過渡的イントラクタからの静的シーンの分離を大幅に強化する。 非定常場面で訓練されたNeRFの過渡的乱れを緩和する手法の優位性とロバスト性を示す実験を行った。
• 参考スコア（独自算出の注目度）: 76.02304140027087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Field (NeRF) has been widely recognized for its excellence in novel view synthesis and 3D scene reconstruction. However, their effectiveness is inherently tied to the assumption of static scenes, rendering them susceptible to undesirable artifacts when confronted with transient distractors such as moving objects or shadows. In this work, we propose a novel paradigm, namely "Heuristics-Guided Segmentation" (HuGS), which significantly enhances the separation of static scenes from transient distractors by harmoniously combining the strengths of hand-crafted heuristics and state-of-the-art segmentation models, thus significantly transcending the limitations of previous solutions. Furthermore, we delve into the meticulous design of heuristics, introducing a seamless fusion of Structure-from-Motion (SfM)-based heuristics and color residual heuristics, catering to a diverse range of texture profiles. Extensive experiments demonstrate the superiority and robustness of our method in mitigating transient distractors for NeRFs trained in non-static scenes. Project page: https://cnhaox.github.io/NeRF-HuGS/.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、新しいビュー合成と3次元シーン再構成に優れていたことが広く認識されている。 しかし、それらの効果は本質的に静的な場面の仮定と結びついており、移動物体や影のような過渡的な邪魔者に直面しているときに、望ましくない人工物に感受性がある。 本研究では,手作りヒューリスティックスと最先端セグメンテーションモデルの強みを調和させることにより,静的シーンと過渡的気晴らしの分離を著しく促進する新しいパラダイム,HuGSを提案する。 さらに、我々はヒューリスティックスを綿密に設計し、SfM(Structure-from-Motion)ベースのヒューリスティックスとカラー残留ヒューリスティックスをシームレスに融合させ、多様なテクスチャプロファイルに対応させた。 非定常場面で訓練されたNeRFの過渡的乱れを緩和する手法の優位性とロバスト性を示す実験を行った。 プロジェクトページ:https://cnhaox.github.io/NeRF-HuGS/。

関連論文リスト

• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• NeRF On-the-go: Exploiting Uncertainty for Distractor-free NeRFs in the Wild [55.154625718222995]
  我々は,複雑なシーンにおける新規ビューのロバストな合成を可能にする,シンプルで効果的な方法であるNeRF On-the-goを紹介する。 本手法は,最先端技術よりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-05-29T02:53:40Z)
• HFGS: 4D Gaussian Splatting with Emphasis on Spatial and Temporal High-Frequency Components for Endoscopic Scene Reconstruction [13.012536387221669]
  ロボット支援による最小侵襲手術は、手術結果を改善するため、動的シーン再構築の強化による恩恵を受ける。 NeRFはシーン再構成に有効だが、推論速度の遅さとトレーニング期間の長いため適用性が制限されている。 3D Gaussian Splatting (3D-GS) ベースの手法が最近のトレンドとして現れ、高速な推論機能と優れた3D品質を提供する。 本稿では,空間的および時間的周波数の観点からこれらの課題に対処する,変形可能な内視鏡再構成のための新しいアプローチであるHFGSを提案する。
  論文  参考訳（メタデータ） (2024-05-28T06:48:02Z)
• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• Enhance-NeRF: Multiple Performance Evaluation for Neural Radiance Fields [2.5432277893532116]
  ニューラル・ラジアンス・フィールド(NeRF)は任意の視点からリアルな画像を生成することができる。 NeRFベースのモデルは、色付きの"fog"ノイズによって引き起こされる干渉問題の影響を受けやすい。 当社のアプローチはEnhance-NeRFと呼ばれ、低反射率と高反射率のオブジェクトの表示のバランスをとるためにジョイントカラーを採用している。
  論文  参考訳（メタデータ） (2023-06-08T15:49:30Z)
• BLiRF: Bandlimited Radiance Fields for Dynamic Scene Modeling [43.246536947828844]
  本稿では,帯域制限された高次元信号の合成としてシーンを定式化し,時間と空間を分解するフレームワークを提案する。 我々は、照明、テクスチャ、長距離ダイナミクスの変化を含む複雑な動的シーンにまたがる魅力的な結果を実証する。
  論文  参考訳（メタデータ） (2023-02-27T06:40:32Z)
• RobustNeRF: Ignoring Distractors with Robust Losses [32.2329459013342]
  我々は、最適化問題の解として、NeRFトレーニングのためのロバストな推定形式を提唱し、トレーニングデータのイントラクタをモデリングする。 本手法は, シーンから外れ値を取り除き, ベースライン, 合成シーン, 現実シーンを改良する。
  論文  参考訳（メタデータ） (2023-02-02T02:45:23Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
  ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。 NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。 大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
  論文  参考訳（メタデータ） (2020-10-15T03:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。