論文の概要: Geometry-Guided Ray Augmentation for Neural Surface Reconstruction with Sparse Views

• arxiv url: http://arxiv.org/abs/2310.05483v3
• Date: Wed, 18 Oct 2023 22:46:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 11:35:24.390224
• Title: Geometry-Guided Ray Augmentation for Neural Surface Reconstruction with Sparse Views
• Title（参考訳）: スパースビューを用いた神経表面再構成のための幾何誘導線増補法
• Authors: Jiawei Yao and Chen Wang and Tong Wu and Chuming Li
• Abstract要約: スパース多視点画像から3次元シーンとオブジェクトを再構成する新しい手法を提案する。 提案手法はRay Augmentation(RayAug)と呼ばれ,事前トレーニングを必要とせず,DTUおよびBlenderデータセット上で優れた結果が得られる。
• 参考スコア（独自算出の注目度）: 11.879175599630859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel method for 3D scene and object reconstruction from sparse multi-view images. Different from previous methods that leverage extra information such as depth or generalizable features across scenes, our approach leverages the scene properties embedded in the multi-view inputs to create precise pseudo-labels for optimization without any prior training. Specifically, we introduce a geometry-guided approach that improves surface reconstruction accuracy from sparse views by leveraging spherical harmonics to predict the novel radiance while holistically considering all color observations for a point in the scene. Also, our pipeline exploits proxy geometry and correctly handles the occlusion in generating the pseudo-labels of radiance, which previous image-warping methods fail to avoid. Our method, dubbed Ray Augmentation (RayAug), achieves superior results on DTU and Blender datasets without requiring prior training, demonstrating its effectiveness in addressing the problem of sparse view reconstruction. Our pipeline is flexible and can be integrated into other implicit neural reconstruction methods for sparse views.
• Abstract（参考訳）: 本稿では,スパース多視点画像からの3次元シーンとオブジェクト再構成の新たな手法を提案する。 シーン間の奥行きや一般化などの付加的な情報を利用する従来の方法とは異なり,マルチビュー入力に埋め込まれたシーンプロパティを活用して,事前のトレーニングなしに最適化のための正確な擬似ラベルを作成する。 具体的には,球面高調波を利用して新しい放射能を予測し,シーン内の点に対するすべての色観測を確率的に考慮しながら,疎視による表面再構成精度を向上させる幾何誘導手法を提案する。 また,このパイプラインはプロキシジオメトリを活用し,従来の画像ウォーピング手法では回避できなかった放射能の擬似ラベルを生成する際に,オクルージョンを正しく処理する。 Ray Augmentation (RayAug) と呼ばれるこの手法は、事前トレーニングを必要とせず、DTUおよびBlenderデータセット上で優れた結果を得ることができ、スパースビュー再構成の問題に対処する効果を実証することができる。 私たちのパイプラインは柔軟で、スパースビューのための他の暗黙的な神経再構成方法に統合できます。

関連論文リスト

• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• Lightning NeRF: Efficient Hybrid Scene Representation for Autonomous Driving [28.788240489289212]
  Lightning NeRFは、自動運転シナリオにおいて、LiDAR以前の幾何学を効果的に活用する効率的なハイブリッドシーン表現である。 これは、NeRFの新規なビュー合成性能を大幅に改善し、計算オーバーヘッドを低減する。 提案手法は,トレーニング速度の5倍,レンダリング速度の10倍向上を実現する。
  論文  参考訳（メタデータ） (2024-03-09T13:14:27Z)
• PC-NeRF: Parent-Child Neural Radiance Fields Using Sparse LiDAR Frames in Autonomous Driving Environments [3.1969023045814753]
  親子ニューラルレイディアンス場(PC-NeRF)と呼ばれる3次元シーン再構成と新しいビュー合成フレームワークを提案する。 PC-NeRFは、シーン、セグメント、ポイントレベルを含む階層的な空間分割とマルチレベルシーン表現を実装している。 広範にわたる実験により,PC-NeRFは大規模シーンにおける高精度なLiDARビュー合成と3次元再構成を実現することが証明された。
  論文  参考訳（メタデータ） (2024-02-14T17:16:39Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• DehazeNeRF: Multiple Image Haze Removal and 3D Shape Reconstruction using Neural Radiance Fields [56.30120727729177]
  DehazeNeRFは,湿潤な環境下で頑健に動作するフレームワークとして紹介する。 提案手法は,複数視点のヘイズ除去,新しいビュー合成,既存手法が失敗する3次元形状再構成を成功させるものである。
  論文  参考訳（メタデータ） (2023-03-20T18:03:32Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。