論文の概要: PlatoNeRF: 3D Reconstruction in Plato's Cave via Single-View Two-Bounce Lidar
- arxiv url: http://arxiv.org/abs/2312.14239v2
- Date: Fri, 5 Apr 2024 15:00:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-08 18:35:30.385052
- Title: PlatoNeRF: 3D Reconstruction in Plato's Cave via Single-View Two-Bounce Lidar
- Title（参考訳）: PlatoNeRF:シングルビュー2バウンスライダーによるプラトン洞窟の3次元再構成
- Authors: Tzofi Klinghoffer, Xiaoyu Xiang, Siddharth Somasundaram, Yuchen Fan, Christian Richardt, Ramesh Raskar, Rakesh Ranjan,
- Abstract要約: 単一視点からの3次元再構成は、単眼視からの曖昧さと閉鎖領域に関する情報の欠如により困難である。
単一光子アバランシェダイオードで捉えた飛行時間データを用いてこれらの制限を克服する。
我々は、制御された環境照明やシーンアルベドに頼らず、データの先行や依存なしに、可視・隠蔽幾何を再構築できることを実証した。
- 参考スコア（独自算出の注目度）: 25.332440946211236
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D reconstruction from a single-view is challenging because of the ambiguity from monocular cues and lack of information about occluded regions. Neural radiance fields (NeRF), while popular for view synthesis and 3D reconstruction, are typically reliant on multi-view images. Existing methods for single-view 3D reconstruction with NeRF rely on either data priors to hallucinate views of occluded regions, which may not be physically accurate, or shadows observed by RGB cameras, which are difficult to detect in ambient light and low albedo backgrounds. We propose using time-of-flight data captured by a single-photon avalanche diode to overcome these limitations. Our method models two-bounce optical paths with NeRF, using lidar transient data for supervision. By leveraging the advantages of both NeRF and two-bounce light measured by lidar, we demonstrate that we can reconstruct visible and occluded geometry without data priors or reliance on controlled ambient lighting or scene albedo. In addition, we demonstrate improved generalization under practical constraints on sensor spatial- and temporal-resolution. We believe our method is a promising direction as single-photon lidars become ubiquitous on consumer devices, such as phones, tablets, and headsets.
- Abstract（参考訳）: 単一視点からの3次元再構成は、単眼視からの曖昧さと閉鎖領域に関する情報の欠如により困難である。
ニューラルレイディアンス場(NeRF)は、ビュー合成や3D再構成に人気があるが、一般的にはマルチビュー画像に依存している。
既存のNeRFを用いた単視3D再構成法は、物理的に正確ではないかもしれない閉鎖領域の幻覚的な視界に先行するデータや、周囲の光や低アルベドの背景を検出できないRGBカメラで観測される影に頼っている。
単一光子アバランシェダイオードで捉えた飛行時間データを用いてこれらの制限を克服する。
本手法は、ライダー過渡データを用いて、NeRFを用いた2バウンス光路をモデル化する。
ライダーによって測定されたNeRFと2バウンス光の利点を利用して、制御された環境光やシーンアルベドに依存することなく、可視・隠蔽形状を再構築できることを実証する。
さらに,センサ空間分解能と時間分解能の制約下での一般化を実証した。
我々は,携帯電話やタブレット,ヘッドセットなどのコンシューマデバイス上では,単光子ライダーが普及するにつれ,我々の方法が有望な方向であると信じている。
関連論文リスト
- Transientangelo: Few-Viewpoint Surface Reconstruction Using Single-Photon Lidar [8.464054039931245]
ライダーは、ターゲットに光のパルスを放出し、反射光の光速遅延を記録することで、3Dシーンの幾何学を捉えている。
従来のライダーシステムは、後方散乱光の生で捕獲された波形を出力しない。
我々は,光子ノイズに対するロバスト性を向上させる新しい正則化戦略を開発し,画素あたり10光子程度で正確な表面再構成を可能にする。
論文 参考訳（メタデータ） (2024-08-22T08:12:09Z) - DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。
本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文 参考訳（メタデータ） (2024-06-17T21:15:13Z) - StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。
まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。
第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文 参考訳（メタデータ） (2023-12-02T02:27:58Z) - Transient Neural Radiance Fields for Lidar View Synthesis and 3D Reconstruction [12.86184159775286]
単一光子ライダーシステムにより測定された生の時間分解光子数ヒストグラムを入力として、一過性NeRFを描画する新しい手法を提案する。
試作した単光子ライダーを用いて, 模擬・捕捉された過渡的マルチビュースキャンの1次データセットについて評価を行った。
論文 参考訳（メタデータ） (2023-07-14T15:17:04Z) - Clean-NeRF: Reformulating NeRF to account for View-Dependent
Observations [67.54358911994967]
本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。
clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
論文 参考訳（メタデータ） (2023-03-26T12:24:31Z) - Aleth-NeRF: Low-light Condition View Synthesis with Concealing Fields [65.96818069005145]
ビューアー中心のバニラNeRFは、表示方向の3D位置からの発光としてのみレンダリングプロセスを単純化する。
古代ギリシア人の排ガス理論に触発され、我々はバニラ・ネRFにわずかな修正を加え、低照度シーンの複数の視点で訓練した。
我々は、ボリュームレンダリングの段階で光の輸送を減らし、サロゲートの概念であるConcealing Fieldsを導入する。
論文 参考訳（メタデータ） (2023-03-10T09:28:09Z) - 3D Scene Inference from Transient Histograms [17.916392079019175]
ピコからナノ秒の光を捉える時間分解画像センサーは、ニッチな用途に限られていた。
我々は,最小時間分解画像センサからシーン情報をキャプチャする,低コストで低消費電力の画像モダリティを提案する。
論文 参考訳（メタデータ） (2022-11-09T18:31:50Z) - Urban Radiance Fields [77.43604458481637]
本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。
提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。
これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
論文 参考訳（メタデータ） (2021-11-29T15:58:16Z) - Depth-supervised NeRF: Fewer Views and Faster Training for Free [69.34556647743285]
DS-NeRF (Depth-supervised Neural Radiance Fields) は、容易に利用できる深度監視を利用する学習分野の損失である。
我々の損失は他のNeRF法と互換性があることを示し、深度は安価で消化し易い監視信号であることを示した。
論文 参考訳（メタデータ） (2021-07-06T17:58:35Z) - Shadow Neural Radiance Fields for Multi-view Satellite Photogrammetry [1.370633147306388]
本稿では,地球観測シーンの影認識型マルチビュー衛星光度測定法について述べる。
提案手法であるShadow Neural Radiance Field(S-NeRF)は,近年の暗黙的体積表現学習の進歩に追従する。
各シーンに対して、既知の視角から得られた高分解能光画像を用いてS-NeRFを訓練する。
学習はラベルや形状の事前を必要とせず、画像再構成損失によって自己管理される。
論文 参考訳（メタデータ） (2021-04-20T10:17:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。