論文の概要: Shoot-Bounce-3D: Single-Shot Occlusion-Aware 3D from Lidar by Decomposing Two-Bounce Light
- arxiv url: http://arxiv.org/abs/2512.06080v1
- Date: Fri, 05 Dec 2025 19:00:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-09 22:03:54.182645
- Title: Shoot-Bounce-3D: Single-Shot Occlusion-Aware 3D from Lidar by Decomposing Two-Bounce Light
- Title(参考訳): ショットバウンス3D:2バウンス光の分解によるライダーからのシングルショットオクルージョン3D
- Authors: Tzofi Klinghoffer, Siddharth Somasundaram, Xiaoyu Xiang, Yuchen Fan, Christian Richardt, Akshat Dave, Ramesh Raskar, Rakesh Ranjan,
- Abstract要約: 単一計測による3次元シーンの再構成は,特に閉塞領域や特異物質の存在下では困難である。
単一光子ライダーを活用することで,これらの課題に対処する。
単光子ライダーにおける光輸送を反転させるデータ駆動方式を提案する。
- 参考スコア(独自算出の注目度): 44.68907359577375
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D scene reconstruction from a single measurement is challenging, especially in the presence of occluded regions and specular materials, such as mirrors. We address these challenges by leveraging single-photon lidars. These lidars estimate depth from light that is emitted into the scene and reflected directly back to the sensor. However, they can also measure light that bounces multiple times in the scene before reaching the sensor. This multi-bounce light contains additional information that can be used to recover dense depth, occluded geometry, and material properties. Prior work with single-photon lidar, however, has only demonstrated these use cases when a laser sequentially illuminates one scene point at a time. We instead focus on the more practical - and challenging - scenario of illuminating multiple scene points simultaneously. The complexity of light transport due to the combined effects of multiplexed illumination, two-bounce light, shadows, and specular reflections is challenging to invert analytically. Instead, we propose a data-driven method to invert light transport in single-photon lidar. To enable this approach, we create the first large-scale simulated dataset of ~100k lidar transients for indoor scenes. We use this dataset to learn a prior on complex light transport, enabling measured two-bounce light to be decomposed into the constituent contributions from each laser spot. Finally, we experimentally demonstrate how this decomposed light can be used to infer 3D geometry in scenes with occlusions and mirrors from a single measurement. Our code and dataset are released at https://shoot-bounce-3d.github.io.
- Abstract(参考訳): 単一計測による3次元シーンの再構成は,特に隠蔽領域や鏡などの特異物質の存在下では困難である。
単一光子ライダーを活用することで,これらの課題に対処する。
これらのライダーは、現場に放出された光から奥行きを推定し、センサーに直接反射する。
しかし、センサーに到達する前に何回も点灯する光を測定することもできる。
この多重バウンス光は、密度の深い深さ、閉鎖された幾何学、材料特性を回復するのに使用できる追加情報を含んでいる。
しかし、単一光子ライダーを用いた先行研究は、レーザーが一度に1つのシーンポイントを順次照らす場合にのみ、これらのユースケースを実証している。
代わりに、複数のシーンポイントを同時に照らすという、より実践的で挑戦的なシナリオに注目します。
光輸送の複雑さは、多重照明、2バウンス光、影、およびスペクトル反射の複合効果により、解析的に逆転することが困難である。
代わりに、単光子ライダーにおける光輸送を反転させるデータ駆動方式を提案する。
このアプローチを実現するために,室内シーン用に約100kのライダートランジェントからなる,最初の大規模シミュレーションデータセットを構築した。
このデータセットを用いて、複雑な光輸送の事前を学習し、測定された2バウンス光を各レーザースポットから構成成分に分解することができる。
最後に,この分解光を用いて,1つの測定値から3次元図形を排他的に推定する方法を実験的に実証した。
私たちのコードとデータセットはhttps://shoot-bounce-3d.github.io.comで公開されています。
関連論文リスト
- Transientangelo: Few-Viewpoint Surface Reconstruction Using Single-Photon Lidar [8.464054039931245]
ライダーは、ターゲットに光のパルスを放出し、反射光の光速遅延を記録することで、3Dシーンの幾何学を捉えている。
従来のライダーシステムは、後方散乱光の生で捕獲された波形を出力しない。
我々は,光子ノイズに対するロバスト性を向上させる新しい正則化戦略を開発し,画素あたり10光子程度で正確な表面再構成を可能にする。
論文 参考訳(メタデータ) (2024-08-22T08:12:09Z) - A CNN Based Approach for the Point-Light Photometric Stereo Problem [26.958763133729846]
本稿では、遠距離場光度ステレオにおける深部ニューラルネットワークの最近の改良を活用して、現実的な仮定を処理できるCNNベースのアプローチを提案する。
われわれのアプローチは、DiLiGenT実世界のデータセットの最先端よりも優れている。
近距離点光源PSデータに対する我々のアプローチの性能を測定するため、LUCESを「近距離点光のための最初の実世界のデータセット」として紹介する。
論文 参考訳(メタデータ) (2022-10-10T12:57:12Z) - MonoGraspNet: 6-DoF Grasping with a Single RGB Image [73.96707595661867]
6-DoFロボットの把握は長続きするが未解決の問題だ。
近年の手法では3次元ネットワークを用いて深度センサから幾何的把握表現を抽出している。
我々はMonoGraspNetと呼ばれるRGBのみの6-DoFグルーピングパイプラインを提案する。
論文 参考訳(メタデータ) (2022-09-26T21:29:50Z) - Monocular 3D Object Detection with Depth from Motion [74.29588921594853]
我々は、正確な物体深度推定と検出にカメラエゴモーションを利用する。
我々のフレームワークはDfM(Depth from Motion)と呼ばれ、2D画像の特徴を3D空間に持ち上げて3Dオブジェクトを検出する。
我々のフレームワークは、KITTIベンチマークにおいて最先端の手法よりも大きなマージンで優れている。
論文 参考訳(メタデータ) (2022-07-26T15:48:46Z) - Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
論文 参考訳(メタデータ) (2022-05-19T06:44:37Z) - Lighthouse: Predicting Lighting Volumes for Spatially-Coherent
Illumination [84.00096195633793]
入力狭帯域ステレオ画像ペアからシーン内の任意の3次元位置における入射照度を推定する深層学習ソリューションを提案する。
本モデルでは,入力ステレオペア近傍の視野ビューと,各シーン内の球状パノラマのみを監督する。
提案手法は,高精細な仮想物体を実画像に挿入して照らし出すのに十分な空間変化の連続した照明を予測できることを実証する。
論文 参考訳(メタデータ) (2020-03-18T17:46:30Z) - Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset
for Spatially Varying Isotropic Materials [65.95928593628128]
多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。
我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
論文 参考訳(メタデータ) (2020-01-18T12:26:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。