論文の概要: Iterating the Transient Light Transport Matrix for Non-Line-of-Sight Imaging
- arxiv url: http://arxiv.org/abs/2412.10300v1
- Date: Fri, 13 Dec 2024 17:35:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-16 15:01:52.272858
- Title: Iterating the Transient Light Transport Matrix for Non-Line-of-Sight Imaging
- Title（参考訳）: 非直線イメージングのための過渡光輸送マトリックスの反復
- Authors: Talha Sultan, Eric Brandt, Khadijeh Masumnia-Bisheh, Simone Riccardo, Pavel Polynkin, Alberto Tosi, Andreas Velten,
- Abstract要約: 時間分解非視線イメージング(NLOS)は、TLTM(Transient Light Transport Matrix)の一部を測定するアクティブシステムを利用する
本研究では,全TLTMを効率の良いアルゴリズムで処理し,隠れたシーンの異なる部分の照明を集中して検出できることを実証する。
- 参考スコア（独自算出の注目度）: 4.563825593952498
- License:
- Abstract: Active imaging systems sample the Transient Light Transport Matrix (TLTM) for a scene by sequentially illuminating various positions in this scene using a controllable light source, and then measuring the resulting spatiotemporal light transport with time of flight (ToF) sensors. Time-resolved Non-line-of-sight (NLOS) imaging employs an active imaging system that measures part of the TLTM of an intermediary relay surface, and uses the indirect reflections of light encoded within this TLTM to "see around corners". Such imaging systems have applications in diverse areas such as disaster response, remote surveillance, and autonomous navigation. While existing NLOS imaging systems usually measure a subset of the full TLTM, development of customized gated Single Photon Avalanche Diode (SPAD) arrays \cite{riccardo_fast-gated_2022} has made it feasible to probe the full measurement space. In this work, we demonstrate that the full TLTM on the relay surface can be processed with efficient algorithms to computationally focus and detect our illumination in different parts of the hidden scene, turning the relay surface into a second-order active imaging system. These algorithms allow us to iterate on the measured, first-order TLTM, and extract a \textbf{second order TLTM for surfaces in the hidden scene}. We showcase three applications of TLTMs in NLOS imaging: (1) Scene Relighting with novel illumination, (2) Separation of direct and indirect components of light transport in the hidden scene, and (3) Dual Photography. Additionally, we empirically demonstrate that SPAD arrays enable parallel acquisition of photons, effectively mitigating long acquisition times.
- Abstract（参考訳）: アクティブイメージングシステムは、このシーンの様々な位置を制御可能な光源を用いて順次照らし、飛行時間(ToF)センサーで得られた時空間光輸送を測定することで、シーンの過渡光輸送マトリックス(TLTM)をサンプリングする。
時間分解非視線イメージング(NLOS)は、中間リレー面のTLTMの一部を計測する能動イメージングシステムを使用し、このTLTM内に符号化された光の間接反射を用いて「隅々を見る」。
このようなイメージングシステムは、災害対応、遠隔監視、自律ナビゲーションといった様々な分野に応用されている。
既存のNLOSイメージングシステムはTLTMのサブセットを計測するが、SPAD(Single Photon Avalanche Diode)アレイの開発により、完全な測定空間を探索することが可能になった。
本研究では,リレー面上のフルTLTMを効率的なアルゴリズムで処理し,隠れたシーンの異なる部分の照明を検知し,リレー面を2次能動イメージングシステムに変換することを実証する。
これらのアルゴリズムにより、測定された一階のTLTMを反復し、隠れたシーンの表面に対して \textbf{second order TLTM を抽出することができる。
NLOSイメージングにおけるTLTMの応用は,(1)新しい照明によるシーンリライティング,(2)隠れたシーンにおける光輸送の直接的および間接的成分の分離,(3)デュアルフォトグラフィーの3つである。
さらに、SPADアレイが光子の並列取得を可能にし、長い取得時間を効果的に軽減できることを実証的に実証した。
関連論文リスト
- FAST-LIVO2: Fast, Direct LiDAR-Inertial-Visual Odometry [28.606325312582218]
我々は,SLAMタスクにおける高精度かつ堅牢な状態推定を実現するために,高速かつ直接的LiDAR慣性・視覚的オドメトリーフレームワークであるFAST-LIVO2を提案する。
FAST-LIVO2はIMU、LiDAR、画像計測を逐次更新戦略で効率的に融合する。
本稿では,FAST-LIVO2のリアルタイムナビゲーション,空中マッピング,3次元モデルレンダリングの3つの応用例を示す。
論文 参考訳（メタデータ） (2024-08-26T06:01:54Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳（メタデータ） (2024-04-01T04:57:41Z) - Self-Calibrating, Fully Differentiable NLOS Inverse Rendering [15.624750787186803]
NLOS(Time-resolved Non-line-of-Sight)イメージングは、可視光線面で測定された間接照明の光路を反転させることで、隠れたシーンを再構成する。
隠れたシーンの再構成において、画像パラメータを自己校正する完全微分可能なNLOS逆レンダリングパイプラインを導入する。
本手法のロバスト性は, 高い騒音レベル下であっても, 幾何とアルベドを一貫して再構成するものである。
論文 参考訳（メタデータ） (2023-09-21T13:15:54Z) - Role of Transients in Two-Bounce Non-Line-of-Sight Imaging [24.7311033930968]
非視線イメージング(NLOS)は、多重散乱光を用いてカメラの視野から隠された画像オブジェクトである。
最近の研究は、レーザーを走査し、2つのリレー面を持つシーンにおける閉塞物体の鋳造影を測定することにより、2バウンス(2B)のNLOSイメージングの実現可能性を示している。
論文 参考訳（メタデータ） (2023-04-03T19:15:21Z) - Illumination Adaptive Transformer [66.50045722358503]
軽量高速照明適応変換器(IAT)を提案する。
IATは、光変換パイプラインをローカルおよびグローバルISPコンポーネントに分解する。
我々は、複数の実世界のデータセット上でIATを広範囲に評価した。
論文 参考訳（メタデータ） (2022-05-30T06:21:52Z) - Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。
我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。
本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
論文 参考訳（メタデータ） (2021-10-11T20:20:03Z) - Virtual light transport matrices for non-line-of-sight imaging [19.19505452561486]
光輸送マトリックス(LTM)は、光がシーンとどのように相互作用するかを記述する、ラインオブサイト(LOS)イメージングの計測ツールです。
我々は,NLOS画像のための最近の仮想フォワード光伝搬モデルとLOS光伝達方程式を結合して,NLOSシナリオのLTMを推定するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-23T15:17:45Z) - Leveraging Spatial and Photometric Context for Calibrated Non-Lambertian
Photometric Stereo [61.6260594326246]
空間と測光の両方を同時に活用できる効率的な完全畳み込みアーキテクチャを提案する。
分離可能な4D畳み込みと2D熱マップを使うことで、サイズが小さくなり、効率が向上する。
論文 参考訳（メタデータ） (2021-03-22T18:06:58Z) - Polka Lines: Learning Structured Illumination and Reconstruction for
Active Stereo [52.68109922159688]
本稿では,波動光学と幾何光学の両方に依存した,アクティブステレオのための新しい微分可能な画像形成モデルと,新しい三眼再構成ネットワークを提案する。
Polka Lines" を再現ネットワークと組み合わせた共同最適化パターンは, 撮像条件全体にわたって, 最先端のアクティブステレオ深度推定を達成している。
論文 参考訳（メタデータ） (2020-11-26T04:02:43Z) - Efficient Non-Line-of-Sight Imaging from Transient Sinograms [36.154873075911404]
非視線(NLOS)イメージング技術は、角の周囲を見るために可視表面(例えば壁)から拡散的に反射する光を使用する。
1つのアプローチは、パルスレーザーと超高速センサーを使用して、多重散乱光の移動時間を測定することである。
より効率的なNLOSスキャン方式を提案する。
論文 参考訳（メタデータ） (2020-08-06T17:50:50Z) - Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset
for Spatially Varying Isotropic Materials [65.95928593628128]
多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。
我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
論文 参考訳（メタデータ） (2020-01-18T12:26:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。