論文の概要: 3D Scene Inference from Transient Histograms
- arxiv url: http://arxiv.org/abs/2211.05094v1
- Date: Wed, 9 Nov 2022 18:31:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 17:40:51.871511
- Title: 3D Scene Inference from Transient Histograms
- Title(参考訳): 過渡ヒストグラムによる3次元シーン推定
- Authors: Sacha Jungerman, Atul Ingle, Yin Li, and Mohit Gupta
- Abstract要約: ピコからナノ秒の光を捉える時間分解画像センサーは、ニッチな用途に限られていた。
我々は,最小時間分解画像センサからシーン情報をキャプチャする,低コストで低消費電力の画像モダリティを提案する。
- 参考スコア(独自算出の注目度): 17.916392079019175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Time-resolved image sensors that capture light at pico-to-nanosecond
timescales were once limited to niche applications but are now rapidly becoming
mainstream in consumer devices. We propose low-cost and low-power imaging
modalities that capture scene information from minimal time-resolved image
sensors with as few as one pixel. The key idea is to flood illuminate large
scene patches (or the entire scene) with a pulsed light source and measure the
time-resolved reflected light by integrating over the entire illuminated area.
The one-dimensional measured temporal waveform, called \emph{transient},
encodes both distances and albedoes at all visible scene points and as such is
an aggregate proxy for the scene's 3D geometry. We explore the viability and
limitations of the transient waveforms by themselves for recovering scene
information, and also when combined with traditional RGB cameras. We show that
plane estimation can be performed from a single transient and that using only a
few more it is possible to recover a depth map of the whole scene. We also show
two proof-of-concept hardware prototypes that demonstrate the feasibility of
our approach for compact, mobile, and budget-limited applications.
- Abstract(参考訳): ピコ秒からナノ秒のタイムスケールで光を捉えるタイムリゾルドイメージセンサーは、かつてニッチなアプリケーションに限られていたが、消費者デバイスでは急速に主流になりつつある。
我々は,最小時間分解画像センサからシーン情報を1ピクセルでキャプチャする,低コストで低消費電力の画像モダリティを提案する。
鍵となるアイデアは、大きなシーンパッチ(またはシーン全体)にパルス光源を照射し、照明領域全体を統合することで時間分解された反射光を測定することである。
1次元計測された時間波形は「emph{transient}」と呼ばれ、すべての視覚的なシーンポイントにおいて距離とアルベドの両方を符号化する。
従来のRGBカメラと組み合わさった場合、シーン情報を復元するために、トランスジェント波形の生存可能性と限界を自ら検討する。
本研究では,一過性から平面推定を行うことができ,さらに数秒で全体像の深度マップを復元できることを示す。
また,コンパクト,モバイル,予算制限付きアプリケーションに対する我々のアプローチが実現可能であることを示す2つの概念実証ハードウェアプロトタイプを示す。
関連論文リスト
- SpikeNVS: Enhancing Novel View Synthesis from Blurry Images via Spike Camera [78.20482568602993]
従来のRGBカメラは、動きがぼやけやすい。
イベントやスパイクカメラのようなニューロモルフィックカメラは、本質的により包括的な時間情報をキャプチャする。
我々の設計は、NeRFと3DGSをまたいだ新しいビュー合成を強化することができる。
論文 参考訳(メタデータ) (2024-04-10T03:31:32Z) - Flying with Photons: Rendering Novel Views of Propagating Light [37.06220870989172]
本稿では,新しい移動カメラの視点から,シーンを通して伝播する光の映像を合成する画像・ニューラルレンダリング技術を提案する。
我々のアプローチは、ピコ秒レベルの時間分解能を持つファースト・オブ・イットタイプの多視点ビデオデータセットをキャプチャするための、新しい超高速撮像装置に依存している。
論文 参考訳(メタデータ) (2024-04-09T17:48:52Z) - PlatoNeRF: 3D Reconstruction in Plato's Cave via Single-View Two-Bounce Lidar [25.332440946211236]
単一視点からの3次元再構成は、単眼視からの曖昧さと閉鎖領域に関する情報の欠如により困難である。
単一光子アバランシェダイオードで捉えた飛行時間データを用いてこれらの制限を克服する。
我々は、制御された環境照明やシーンアルベドに頼らず、データの先行や依存なしに、可視・隠蔽幾何を再構築できることを実証した。
論文 参考訳(メタデータ) (2023-12-21T18:59:53Z) - Event-based Motion-Robust Accurate Shape Estimation for Mixed
Reflectance Scenes [17.446182782836747]
本稿では,複合反射シーンの高速3次元イメージングを高精度に実現したイベントベース構造化光システムを提案する。
我々は、測定された反射を本質的に拡散、2バウンススペクトル、その他の多重バウンス反射に分解できるエピポーラ制約を用いる。
このシステムは,500,mu$mの精度で混合反射シーンの高速かつモーションロバストな再構成を実現する。
論文 参考訳(メタデータ) (2023-11-16T08:12:10Z) - Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized
Photography [54.36608424943729]
2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。
我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
論文 参考訳(メタデータ) (2022-12-22T18:54:34Z) - One-Shot Neural Fields for 3D Object Understanding [112.32255680399399]
ロボット工学のための統一的でコンパクトなシーン表現を提案する。
シーン内の各オブジェクトは、幾何学と外観をキャプチャする潜在コードによって描写される。
この表現は、新しいビューレンダリングや3D再構成、安定した把握予測といった様々なタスクのためにデコードできる。
論文 参考訳(メタデータ) (2022-10-21T17:33:14Z) - Event Guided Depth Sensing [50.997474285910734]
バイオインスパイアされたイベントカメラ駆動深度推定アルゴリズムを提案する。
提案手法では,イベントカメラが検出したシーン活動に応じて,関心領域を高密度に照明する。
シミュレーションされた自律運転シーケンスと実際の屋内環境におけるアプローチの実現可能性を示す。
論文 参考訳(メタデータ) (2021-10-20T11:41:11Z) - Learning to Recover 3D Scene Shape from a Single Image [98.20106822614392]
まず,未知のスケールまで深さを予測し,単一の単眼画像からシフトする2段階フレームワークを提案する。
そして、3dポイントクラウドエンコーダを使って深度シフトと焦点距離を予測し、リアルな3dシーンの形状を復元します。
論文 参考訳(メタデータ) (2020-12-17T02:35:13Z) - Event-based Stereo Visual Odometry [42.77238738150496]
ステレオ・イベント・ベースのカメラ・リグが取得したデータから視覚計測の問題に対する解決策を提案する。
我々は,シンプルかつ効率的な表現を用いて,ステレオイベントベースのデータの時間的一貫性を最大化する。
論文 参考訳(メタデータ) (2020-07-30T15:53:28Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳(メタデータ) (2020-04-05T12:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。