論文の概要: Photoreal Scene Reconstruction from an Egocentric Device
- arxiv url: http://arxiv.org/abs/2506.04444v1
- Date: Wed, 04 Jun 2025 20:53:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-06 21:53:49.422348
- Title: Photoreal Scene Reconstruction from an Egocentric Device
- Title（参考訳）: エゴセントリックデバイスからのフォトリアルシーン再構成
- Authors: Zhaoyang Lv, Maurizio Monge, Ka Chen, Yufeng Zhu, Michael Goesele, Jakob Engel, Zhao Dong, Richard Newcombe,
- Abstract要約: 既存の手法では、デバイスの視覚-慣性オドメトリーシステムから推定されるフレームレート6DoFのポーズを仮定する。
ローリングシャッターRGBセンシングカメラの正確なタイムスタンプと動きを校正するために、視覚慣性バンドル調整(VIBA)を用いる。
センサ特性を効果的に扱えるガウススプラッティングに物理画像形成モデルを組み込んだ。
- 参考スコア（独自算出の注目度）: 5.581317382137083
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this paper, we investigate the challenges associated with using egocentric devices to photorealistic reconstruct the scene in high dynamic range. Existing methodologies typically assume using frame-rate 6DoF pose estimated from the device's visual-inertial odometry system, which may neglect crucial details necessary for pixel-accurate reconstruction. This study presents two significant findings. Firstly, in contrast to mainstream work treating RGB camera as global shutter frame-rate camera, we emphasize the importance of employing visual-inertial bundle adjustment (VIBA) to calibrate the precise timestamps and movement of the rolling shutter RGB sensing camera in a high frequency trajectory format, which ensures an accurate calibration of the physical properties of the rolling-shutter camera. Secondly, we incorporate a physical image formation model based into Gaussian Splatting, which effectively addresses the sensor characteristics, including the rolling-shutter effect of RGB cameras and the dynamic ranges measured by sensors. Our proposed formulation is applicable to the widely-used variants of Gaussian Splats representation. We conduct a comprehensive evaluation of our pipeline using the open-source Project Aria device under diverse indoor and outdoor lighting conditions, and further validate it on a Meta Quest3 device. Across all experiments, we observe a consistent visual enhancement of +1 dB in PSNR by incorporating VIBA, with an additional +1 dB achieved through our proposed image formation model. Our complete implementation, evaluation datasets, and recording profile are available at http://www.projectaria.com/photoreal-reconstruction/
- Abstract（参考訳）: 本稿では,エゴセントリックなデバイスを用いて高ダイナミックレンジでシーンを光リアルに再構築する際の課題について検討する。
既存の手法では、通常、フレームレートの6DoFのポーズをデバイスの視覚-慣性オドメトリーシステムから推定するが、これはピクセル・正確な再構成に必要な重要な詳細を無視する可能性がある。
本研究は2つの重要な知見を示す。
第一に,RGBカメラをグローバルシャッターフレームレートカメラとして扱う主流の作業とは対照的に,ローリングシャッターカメラの物理的特性の正確なキャリブレーションを保証するために,ローリングシャッターRGBセンシングカメラの正確なタイムスタンプと動きをキャリブレーションするために,視覚慣性バンドル調整(VIBA)を採用することの重要性を強調した。
第2に,RGBカメラのローリングシャッター効果やセンサによって測定されるダイナミックレンジなど,センサ特性を効果的に扱う,ガウス散乱に基づく物理画像形成モデルを導入する。
提案した定式化はガウススプラッツ表現の広く使われている変種に適用できる。
屋内および屋外の様々な照明条件下で、オープンソースのProject Ariaデバイスを用いてパイプラインの包括的な評価を行い、さらにMeta Quest3デバイス上で検証する。
全ての実験において、VIBAを組み込むことにより、PSNRにおける+1dBの連続的な視覚的拡張を観察し、提案した画像形成モデルにより+1dBを付加する。
私たちの完全な実装、評価データセット、記録プロファイルはhttp://www.projectaria.com/photoreal-reconstruction/で利用可能です。
関連論文リスト
- Targetless LiDAR-Camera Calibration with Anchored 3D Gaussians [21.057702337896995]
任意のシーンからセンサポーズとシーン形状を協調的に最適化するLiDARカメラキャリブレーション手法を提案する。
2つの実世界の自律走行データセットに関する広範な実験により,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2025-04-06T20:00:01Z) - Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。
合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
論文 参考訳（メタデータ） (2024-03-20T06:19:41Z) - Complementing Event Streams and RGB Frames for Hand Mesh Reconstruction [51.87279764576998]
EvRGBHand - イベントカメラとRGBカメラによる3Dハンドメッシュ再構築のための最初のアプローチを提案する。
EvRGBHandは、RGBベースのHMRにおける露出とモーションのぼかしの問題と、イベントベースのHMRにおける前景の不足とバックグラウンドのオーバーフロー問題に対処することができる。
論文 参考訳（メタデータ） (2024-03-12T06:04:50Z) - RGB-based Category-level Object Pose Estimation via Decoupled Metric
Scale Recovery [72.13154206106259]
本研究では、6次元のポーズとサイズ推定を分離し、不完全なスケールが剛性変換に与える影響を緩和するパイプラインを提案する。
具体的には,事前学習した単分子推定器を用いて局所的な幾何学的情報を抽出する。
別個のブランチは、カテゴリレベルの統計に基づいてオブジェクトのメートル法スケールを直接復元するように設計されている。
論文 参考訳（メタデータ） (2023-09-19T02:20:26Z) - DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。
DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。
我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
論文 参考訳（メタデータ） (2023-09-16T08:46:59Z) - GenISP: Neural ISP for Low-Light Machine Cognition [19.444297600977546]
低照度環境では、原画像データを用いた物体検出器は、ISPパイプラインで処理された画像データを用いた検出器よりも堅牢である。
我々は、デバイスに依存しないカラー空間にカラー空間変換を明示的に組み込んだ、マシン認知のための最小限のニューラルISPパイプラインGenISPを提案する。
論文 参考訳（メタデータ） (2022-05-07T17:17:24Z) - Learning Enriched Illuminants for Cross and Single Sensor Color
Constancy [182.4997117953705]
ネットワークをトレーニングするためのクロスセンサ自己教師型トレーニングを提案する。
センサに依存しない方法で人工発光体をランダムにサンプリングすることでネットワークを訓練する。
実験により、我々のクロスセンサモデルとシングルセンサーモデルは、他の最先端手法よりも大きなマージンで優れていることが示された。
論文 参考訳（メタデータ） (2022-03-21T15:45:35Z) - How to Calibrate Your Event Camera [58.80418612800161]
画像再構成を用いた汎用イベントカメラキャリブレーションフレームワークを提案する。
ニューラルネットワークに基づく画像再構成は,イベントカメラの内在的・外在的キャリブレーションに適していることを示す。
論文 参考訳（メタデータ） (2021-05-26T07:06:58Z) - Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset
for Spatially Varying Isotropic Materials [65.95928593628128]
多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。
我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
論文 参考訳（メタデータ） (2020-01-18T12:26:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。