論文の概要: PlatoNeRF: 3D Reconstruction in Plato's Cave via Single-View Two-Bounce
Lidar
- arxiv url: http://arxiv.org/abs/2312.14239v1
- Date: Thu, 21 Dec 2023 18:59:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-25 17:00:35.456479
- Title: PlatoNeRF: 3D Reconstruction in Plato's Cave via Single-View Two-Bounce
Lidar
- Title(参考訳): PlatoNeRF:シングルビュー2バウンスライダーによるプラトン洞窟の3次元再構成
- Authors: Tzofi Klinghoffer, Xiaoyu Xiang, Siddharth Somasundaram, Yuchen Fan,
Christian Richardt, Ramesh Raskar, Rakesh Ranjan
- Abstract要約: 単一視点からの3次元再構成は、単眼視からの曖昧さと閉鎖領域に関する情報の欠如により困難である。
単一光子アバランシェダイオードで捉えた飛行時間データを用いてこれらの制限を克服する。
我々は、制御された環境照明やシーンアルベドに頼らず、データの先行や依存なしに、可視・隠蔽幾何を再構築できることを実証した。
- 参考スコア(独自算出の注目度): 26.602754453169183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D reconstruction from a single-view is challenging because of the ambiguity
from monocular cues and lack of information about occluded regions. Neural
radiance fields (NeRF), while popular for view synthesis and 3D reconstruction,
are typically reliant on multi-view images. Existing methods for single-view 3D
reconstruction with NeRF rely on either data priors to hallucinate views of
occluded regions, which may not be physically accurate, or shadows observed by
RGB cameras, which are difficult to detect in ambient light and low albedo
backgrounds. We propose using time-of-flight data captured by a single-photon
avalanche diode to overcome these limitations. Our method models two-bounce
optical paths with NeRF, using lidar transient data for supervision. By
leveraging the advantages of both NeRF and two-bounce light measured by lidar,
we demonstrate that we can reconstruct visible and occluded geometry without
data priors or reliance on controlled ambient lighting or scene albedo. In
addition, we demonstrate improved generalization under practical constraints on
sensor spatial- and temporal-resolution. We believe our method is a promising
direction as single-photon lidars become ubiquitous on consumer devices, such
as phones, tablets, and headsets.
- Abstract(参考訳): 単眼からのあいまいさと閉塞領域に関する情報の欠如から,単眼からの3次元再構成は困難である。
ニューラルレイディアンス場(NeRF)は、ビュー合成や3D再構成に人気があるが、通常はマルチビュー画像に依存している。
既存のNeRFを用いた単視3D再構成法は、物理的に正確ではないかもしれない閉鎖領域の幻覚的な視界に先行するデータや、周囲の光や低アルベドの背景を検出できないRGBカメラで観測される影に頼っている。
単一光子アバランシェダイオードで捉えた飛行時間データを用いてこれらの制限を克服する。
提案手法は,lidarトランジェントデータを用いて2バウンス光路をnrfでモデル化する。
lidarによって測定されたnerfと2バウンス光の両方の利点を生かして、データの事前設定や制御された環境照明やシーンアルベドに依存することなく、可視および遮蔽幾何学を再構築できることを実証する。
さらに,センサ空間分解能と時間分解能の実用的制約下での一般化を実証する。
我々は,携帯電話やタブレット,ヘッドセットなどのコンシューマデバイス上では,単光子ライダーが普及するにつれ,我々の方法が有望な方向であると信じている。
関連論文リスト
- StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。
まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。
第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文 参考訳(メタデータ) (2023-12-02T02:27:58Z) - Transient Neural Radiance Fields for Lidar View Synthesis and 3D
Reconstruction [17.68184520916017]
単一光子ライダーシステムにより測定された生の時間分解光子数ヒストグラムを入力として、一過性NeRFを描画する新しい手法を提案する。
試作した単光子ライダーを用いて, 模擬・捕捉された過渡的マルチビュースキャンの1次データセットについて評価を行った。
論文 参考訳(メタデータ) (2023-07-14T15:17:04Z) - Clean-NeRF: Reformulating NeRF to account for View-Dependent
Observations [67.54358911994967]
本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。
clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
論文 参考訳(メタデータ) (2023-03-26T12:24:31Z) - Aleth-NeRF: Low-light Condition View Synthesis with Concealing Fields [65.96818069005145]
ビューアー中心のバニラNeRFは、表示方向の3D位置からの発光としてのみレンダリングプロセスを単純化する。
古代ギリシア人の排ガス理論に触発され、我々はバニラ・ネRFにわずかな修正を加え、低照度シーンの複数の視点で訓練した。
我々は、ボリュームレンダリングの段階で光の輸送を減らし、サロゲートの概念であるConcealing Fieldsを導入する。
論文 参考訳(メタデータ) (2023-03-10T09:28:09Z) - 3D Scene Inference from Transient Histograms [17.916392079019175]
ピコからナノ秒の光を捉える時間分解画像センサーは、ニッチな用途に限られていた。
我々は,最小時間分解画像センサからシーン情報をキャプチャする,低コストで低消費電力の画像モダリティを提案する。
論文 参考訳(メタデータ) (2022-11-09T18:31:50Z) - Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level
Physically-Grounded Augmentations [111.08941206369508]
我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。
提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。
Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
論文 参考訳(メタデータ) (2022-07-04T02:27:07Z) - Urban Radiance Fields [77.43604458481637]
本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。
提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。
これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
論文 参考訳(メタデータ) (2021-11-29T15:58:16Z) - T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis [32.878225196378374]
連続波ToFカメラのための画像形成モデルに基づくニューラル表現を提案する。
提案手法は, 動的シーン再構成のロバスト性を改善し, 誤ったキャリブレーションや大きな動きに改善することを示す。
論文 参考訳(メタデータ) (2021-09-30T17:12:59Z) - Depth-supervised NeRF: Fewer Views and Faster Training for Free [66.16386801362643]
DS-NeRF(DS-NeRF)は、容易に利用可能な深度監視の利点を生かした神経放射場学習の損失である。
DS-NeRFはトレーニングを2~6倍高速化しながら、トレーニングビューを少なくすることで、より正確な画像をレンダリングできることがわかった。
論文 参考訳(メタデータ) (2021-07-06T17:58:35Z) - Shadow Neural Radiance Fields for Multi-view Satellite Photogrammetry [1.370633147306388]
本稿では,地球観測シーンの影認識型マルチビュー衛星光度測定法について述べる。
提案手法であるShadow Neural Radiance Field(S-NeRF)は,近年の暗黙的体積表現学習の進歩に追従する。
各シーンに対して、既知の視角から得られた高分解能光画像を用いてS-NeRFを訓練する。
学習はラベルや形状の事前を必要とせず、画像再構成損失によって自己管理される。
論文 参考訳(メタデータ) (2021-04-20T10:17:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。