論文の概要: Transient Neural Radiance Fields for Lidar View Synthesis and 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2307.09555v1
• Date: Fri, 14 Jul 2023 15:17:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-23 12:08:51.124136
• Title: Transient Neural Radiance Fields for Lidar View Synthesis and 3D Reconstruction
• Title（参考訳）: ライダービュー合成と3次元再構成のための過渡的ニューラルラジアンス場
• Authors: Anagh Malik, Parsa Mirdehghan, Sotiris Nousias, Kiriakos N. Kutulakos, David B. Lindell
• Abstract要約: 単一光子ライダーシステムにより測定された生の時間分解光子数ヒストグラムを入力として、一過性NeRFを描画する新しい手法を提案する。 試作した単光子ライダーを用いて, 模擬・捕捉された過渡的マルチビュースキャンの1次データセットについて評価を行った。
• 参考スコア（独自算出の注目度）: 17.68184520916017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural radiance fields (NeRFs) have become a ubiquitous tool for modeling scene appearance and geometry from multiview imagery. Recent work has also begun to explore how to use additional supervision from lidar or depth sensor measurements in the NeRF framework. However, previous lidar-supervised NeRFs focus on rendering conventional camera imagery and use lidar-derived point cloud data as auxiliary supervision; thus, they fail to incorporate the underlying image formation model of the lidar. Here, we propose a novel method for rendering transient NeRFs that take as input the raw, time-resolved photon count histograms measured by a single-photon lidar system, and we seek to render such histograms from novel views. Different from conventional NeRFs, the approach relies on a time-resolved version of the volume rendering equation to render the lidar measurements and capture transient light transport phenomena at picosecond timescales. We evaluate our method on a first-of-its-kind dataset of simulated and captured transient multiview scans from a prototype single-photon lidar. Overall, our work brings NeRFs to a new dimension of imaging at transient timescales, newly enabling rendering of transient imagery from novel views. Additionally, we show that our approach recovers improved geometry and conventional appearance compared to point cloud-based supervision when training on few input viewpoints. Transient NeRFs may be especially useful for applications which seek to simulate raw lidar measurements for downstream tasks in autonomous driving, robotics, and remote sensing.
• Abstract（参考訳）: ニューラルレイディアンス場(NeRF)は,マルチビュー画像からシーンの外観や形状をモデル化するためのユビキタスツールとなっている。 最近の研究は、NeRFフレームワークにおけるライダーや深度センサーのさらなる監視方法の活用も検討している。 しかし、従来のカメラ画像のレンダリングに重点を置いており、ライダー由来の点雲データを補助監督として使用しているため、ライダーの基盤となる画像形成モデルが組み込まれていない。 本稿では,光子数ヒストグラムを1光子ライダーシステムで測定した生の時間分解光子数ヒストグラムを入力として一過性NeRFを描画する手法を提案する。 従来のnerfとは異なり、このアプローチは体積レンダリング方程式の時間分解版に依存しており、lidarの測定をレンダリングし、ピコ秒の時間スケールで過渡光輸送現象を捉えている。 本手法は,プロトタイプの単一光子lidarを用いて,シミュレーションおよびキャプチャした過渡的マルチビュースキャンの初回型データセット上で評価する。 全体として、我々の研究は、NeRFを一過性の時間スケールで新しい次元のイメージングをもたらす。 また,入力視点の少ないトレーニングでは,ポイントクラウドによる監視に比べて,形状や外観が改善されていることを示す。 過渡性NeRFは、自律運転、ロボット工学、リモートセンシングにおける下流タスクの生ライダー計測をシミュレートするアプリケーションに特に有用である。

関連論文リスト

• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction [77.69363640021503]
  3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。 本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T17:59:01Z)
• NeRF applied to satellite imagery for surface reconstruction [5.027411102165872]
  本稿では、最近導入されたシャドウニューラルレージアンスフィールド(S-NeRF)モデルの修正実装であるSurf-NeRFを提案する。 本手法は、画像中の光の変動を考慮しつつ、シーンの衛星画像の粗い集合から新規なビューを合成することができる。 トレーニングされたモデルは、しばしば衛星観測用途に望ましい量であるシーンの表面の標高を正確に推定するためにも使用できる。
  論文  参考訳（メタデータ） (2023-04-09T01:37:13Z)
• Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields [17.725937326348994]
  入力ビューの少ない放射場を反復的に洗練する自己進化型NeRFであるSelf-NeRFを提案する。 各イテレーションでは、予測された色や、前回のイテレーションからモデルが生成した歪んだピクセルで、目に見えないビューをラベル付けします。 これらの拡張された擬似ビューは、NeRFの性能を低下させる色やワープアーティファクトのインプレクションによって悩まされる。
  論文  参考訳（メタデータ） (2023-03-10T08:22:36Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Sat-NeRF: Learning Multi-View Satellite Photogrammetry With Transient Objects and Shadow Modeling Using RPC Cameras [10.269997499911668]
  サテライトニューラルレージアンスフィールド(Sat-NeRF)は,野生のマルチビュー衛星写真グラムを学習するための新しいエンドツーエンドモデルである。 Sat-NeRFは、ニューラルレンダリングの最新トレンドとネイティブ衛星カメラモデルを組み合わせたものだ。 我々は,異なる場所からのWorldView-3画像を用いてSat-NeRFを評価し,衛星カメラモデルにバンドル調整を適用する利点を強調した。
  論文  参考訳（メタデータ） (2022-03-16T19:18:46Z)
• RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs [79.00855490550367]
  我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。 我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。 我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-12-01T18:59:46Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。