論文の概要: Xihe: A 3D Vision-based Lighting Estimation Framework for Mobile
Augmented Reality
- arxiv url: http://arxiv.org/abs/2106.15280v1
- Date: Sun, 30 May 2021 13:48:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-04 19:33:01.530663
- Title: Xihe: A 3D Vision-based Lighting Estimation Framework for Mobile
Augmented Reality
- Title(参考訳): Xihe:モバイル拡張現実のための3Dビジョンベースの照明推定フレームワーク
- Authors: Yiqin Zhao and Tian Guo
- Abstract要約: 我々はXiheと呼ばれるエッジ支援フレームワークを設計し、モバイルARアプリケーションに対して、全方位照明の正確な推定をリアルタイムで行えるようにした。
オンデバイス・ポイント・クラウド処理に適したGPUパイプラインを開発し,ネットワーク伝送バイトを削減するエンコーディング技術を用いた。
この結果から、Xiheは照明推定に20.67msを要し、最先端のニューラルネットワークよりも9.4%の精度で推定できることがわかった。
- 参考スコア(独自算出の注目度): 9.129335351176904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Omnidirectional lighting provides the foundation for achieving
spatially-variant photorealistic 3D rendering, a desirable property for mobile
augmented reality applications. However, in practice, estimating
omnidirectional lighting can be challenging due to limitations such as partial
panoramas of the rendering positions, and the inherent environment lighting and
mobile user dynamics. A new opportunity arises recently with the advancements
in mobile 3D vision, including built-in high-accuracy depth sensors and deep
learning-powered algorithms, which provide the means to better sense and
understand the physical surroundings. Centering the key idea of 3D vision, in
this work, we design an edge-assisted framework called Xihe to provide mobile
AR applications the ability to obtain accurate omnidirectional lighting
estimation in real time. Specifically, we develop a novel sampling technique
that efficiently compresses the raw point cloud input generated at the mobile
device. This technique is derived based on our empirical analysis of a recent
3D indoor dataset and plays a key role in our 3D vision-based lighting
estimator pipeline design. To achieve the real-time goal, we develop a tailored
GPU pipeline for on-device point cloud processing and use an encoding technique
that reduces network transmitted bytes. Finally, we present an adaptive
triggering strategy that allows Xihe to skip unnecessary lighting estimations
and a practical way to provide temporal coherent rendering integration with the
mobile AR ecosystem. We evaluate both the lighting estimation accuracy and time
of Xihe using a reference mobile application developed with Xihe's APIs. Our
results show that Xihe takes as fast as 20.67ms per lighting estimation and
achieves 9.4% better estimation accuracy than a state-of-the-art neural
network.
- Abstract(参考訳): Omnidirectional Lightingは、空間的に変化する光リアルな3Dレンダリングを実現するための基盤を提供する。
しかし、実際には、レンダリング位置の部分的なパノラマや、固有の環境照明やモバイルユーザダイナミクスといった制限のため、全方向照明の推定は困難である。
モバイル3Dビジョンの進歩には、高精度深度センサーとディープラーニングによるアルゴリズムが組み込まれており、物理的な環境をよりよく理解し理解するための手段となっている。
3Dビジョンのキーとなるアイデアを中心として、我々はXiheと呼ばれるエッジ支援フレームワークを設計し、モバイルARアプリケーションに正確な全方位照明推定をリアルタイムで得る能力を提供する。
具体的には,モバイル端末で発生する原点雲の入力を効率的に圧縮する新しいサンプリング手法を開発した。
この手法は、最近の3次元屋内データセットの実証分析に基づいて導出され、我々の3次元視覚に基づく照明推定パイプライン設計において重要な役割を果たす。
リアルタイムの目標を達成するため,オンデバイスクラウド処理に適したGPUパイプラインを開発し,ネットワーク伝送バイトを減らすエンコーディング技術を使用する。
最後に,不必要な照明推定を省略できる適応トリガ方式と,モバイルARエコシステムとの時間的コヒーレントなレンダリング統合を実現する実用的な方法を提案する。
我々は,XiheのAPIで開発したリファレンスモバイルアプリケーションを用いて,Xiheの照明推定精度と時間の両方を評価する。
その結果、xiheは光量推定に20.67ミリ秒を要し、最先端のニューラルネットワークよりも9.4%精度が向上した。
関連論文リスト
- Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。
既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
論文 参考訳(メタデータ) (2023-08-21T10:38:32Z) - Real-time Light Estimation and Neural Soft Shadows for AR Indoor
Scenarios [70.6824004127609]
仮想オブジェクトを屋内シーンの映像に埋め込むパイプラインを,リアルタイムARアプリケーションに焦点をあてて提示する。
我々のパイプラインは、光推定器と神経ソフトシャドウテクスチャジェネレータの2つの主要コンポーネントから構成されている。
iPhone 11 Proでは,光推定で9ms,ニューラルシャドーで5msのランタイムを実現しています。
論文 参考訳(メタデータ) (2023-08-03T08:41:37Z) - Neural Point-based Volumetric Avatar: Surface-guided Neural Points for
Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。
具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。
設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
論文 参考訳(メタデータ) (2023-07-11T03:40:10Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳(メタデータ) (2023-05-07T20:36:29Z) - LitAR: Visually Coherent Lighting for Mobile Augmented Reality [24.466149552743516]
本稿では,LitARという照明再建フレームワークの設計と実装について述べる。
LitARは、モバイルARの照明情報をサポートするいくつかの課題に対処する。
論文 参考訳(メタデータ) (2023-01-15T20:47:38Z) - Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from
Depth Maps [66.24554680709417]
協調環境における労働者とロボットの正確な3D位置を知ることは、いくつかの実際のアプリケーションを可能にする。
本研究では、深度デバイスと深度ニューラルネットワークに基づく非侵襲的なフレームワークを提案し、外部カメラからロボットの3次元ポーズを推定する。
論文 参考訳(メタデータ) (2022-07-06T08:52:12Z) - HDR Environment Map Estimation for Real-Time Augmented Reality [7.6146285961466]
視野の狭いLDRカメラ画像からHDR環境マップをリアルタイムで推定する手法を提案する。
これにより、鏡から拡散まで、あらゆる材料仕上げの仮想物体に視覚的に訴える反射や陰影を、拡張現実を使って現実の物理的環境にレンダリングすることができる。
論文 参考訳(メタデータ) (2020-11-21T01:01:53Z) - Object-based Illumination Estimation with Rendering-aware Neural
Networks [56.01734918693844]
個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。
推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
論文 参考訳(メタデータ) (2020-08-06T08:23:19Z) - PointAR: Efficient Lighting Estimation for Mobile Augmented Reality [7.58114840374767]
本稿では,現代のモバイルデバイス上での動作に適した効率的な照明推定パイプラインを提案する。
PointARは、モバイルカメラから撮影した1枚のRGB-D画像と、その画像中の2D位置を取得し、2次球面高調波係数を推定する。
論文 参考訳(メタデータ) (2020-03-30T19:13:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。