論文の概要: Xihe: A 3D Vision-based Lighting Estimation Framework for Mobile Augmented Reality

• arxiv url: http://arxiv.org/abs/2106.15280v1
• Date: Sun, 30 May 2021 13:48:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-04 19:33:01.530663
• Title: Xihe: A 3D Vision-based Lighting Estimation Framework for Mobile Augmented Reality
• Title（参考訳）: Xihe:モバイル拡張現実のための3Dビジョンベースの照明推定フレームワーク
• Authors: Yiqin Zhao and Tian Guo
• Abstract要約: 我々はXiheと呼ばれるエッジ支援フレームワークを設計し、モバイルARアプリケーションに対して、全方位照明の正確な推定をリアルタイムで行えるようにした。 オンデバイス・ポイント・クラウド処理に適したGPUパイプラインを開発し,ネットワーク伝送バイトを削減するエンコーディング技術を用いた。 この結果から、Xiheは照明推定に20.67msを要し、最先端のニューラルネットワークよりも9.4%の精度で推定できることがわかった。
• 参考スコア（独自算出の注目度）: 9.129335351176904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Omnidirectional lighting provides the foundation for achieving spatially-variant photorealistic 3D rendering, a desirable property for mobile augmented reality applications. However, in practice, estimating omnidirectional lighting can be challenging due to limitations such as partial panoramas of the rendering positions, and the inherent environment lighting and mobile user dynamics. A new opportunity arises recently with the advancements in mobile 3D vision, including built-in high-accuracy depth sensors and deep learning-powered algorithms, which provide the means to better sense and understand the physical surroundings. Centering the key idea of 3D vision, in this work, we design an edge-assisted framework called Xihe to provide mobile AR applications the ability to obtain accurate omnidirectional lighting estimation in real time. Specifically, we develop a novel sampling technique that efficiently compresses the raw point cloud input generated at the mobile device. This technique is derived based on our empirical analysis of a recent 3D indoor dataset and plays a key role in our 3D vision-based lighting estimator pipeline design. To achieve the real-time goal, we develop a tailored GPU pipeline for on-device point cloud processing and use an encoding technique that reduces network transmitted bytes. Finally, we present an adaptive triggering strategy that allows Xihe to skip unnecessary lighting estimations and a practical way to provide temporal coherent rendering integration with the mobile AR ecosystem. We evaluate both the lighting estimation accuracy and time of Xihe using a reference mobile application developed with Xihe's APIs. Our results show that Xihe takes as fast as 20.67ms per lighting estimation and achieves 9.4% better estimation accuracy than a state-of-the-art neural network.
• Abstract（参考訳）: Omnidirectional Lightingは、空間的に変化する光リアルな3Dレンダリングを実現するための基盤を提供する。 しかし、実際には、レンダリング位置の部分的なパノラマや、固有の環境照明やモバイルユーザダイナミクスといった制限のため、全方向照明の推定は困難である。 モバイル3Dビジョンの進歩には、高精度深度センサーとディープラーニングによるアルゴリズムが組み込まれており、物理的な環境をよりよく理解し理解するための手段となっている。 3Dビジョンのキーとなるアイデアを中心として、我々はXiheと呼ばれるエッジ支援フレームワークを設計し、モバイルARアプリケーションに正確な全方位照明推定をリアルタイムで得る能力を提供する。 具体的には,モバイル端末で発生する原点雲の入力を効率的に圧縮する新しいサンプリング手法を開発した。 この手法は、最近の3次元屋内データセットの実証分析に基づいて導出され、我々の3次元視覚に基づく照明推定パイプライン設計において重要な役割を果たす。 リアルタイムの目標を達成するため,オンデバイスクラウド処理に適したGPUパイプラインを開発し,ネットワーク伝送バイトを減らすエンコーディング技術を使用する。 最後に,不必要な照明推定を省略できる適応トリガ方式と,モバイルARエコシステムとの時間的コヒーレントなレンダリング統合を実現する実用的な方法を提案する。 我々は,XiheのAPIで開発したリファレンスモバイルアプリケーションを用いて,Xiheの照明推定精度と時間の両方を評価する。 その結果、xiheは光量推定に20.67ミリ秒を要し、最先端のニューラルネットワークよりも9.4%精度が向上した。

関連論文リスト

• CleAR: Robust Context-Guided Generative Lighting Estimation for Mobile Augmented Reality [6.292933471495322]
  我々は,360$circ$画像のフォーマットで高品質な環境マップを作成できるCleARと呼ばれるジェネレーティブ照明推定システムを提案する。 エンドツーエンドの生成推定には3.2秒の速さで、最先端の手法を110倍に向上させる。
  論文  参考訳（メタデータ） (2024-11-04T15:37:18Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
  本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。 最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。 我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
  論文  参考訳（メタデータ） (2023-12-08T16:05:15Z)
• Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
  本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。 既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-08-21T10:38:32Z)
• Real-time Light Estimation and Neural Soft Shadows for AR Indoor Scenarios [70.6824004127609]
  仮想オブジェクトを屋内シーンの映像に埋め込むパイプラインを,リアルタイムARアプリケーションに焦点をあてて提示する。 我々のパイプラインは、光推定器と神経ソフトシャドウテクスチャジェネレータの2つの主要コンポーネントから構成されている。 iPhone 11 Proでは,光推定で9ms,ニューラルシャドーで5msのランタイムを実現しています。
  論文  参考訳（メタデータ） (2023-08-03T08:41:37Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• HDR Environment Map Estimation for Real-Time Augmented Reality [7.6146285961466]
  視野の狭いLDRカメラ画像からHDR環境マップをリアルタイムで推定する手法を提案する。 これにより、鏡から拡散まで、あらゆる材料仕上げの仮想物体に視覚的に訴える反射や陰影を、拡張現実を使って現実の物理的環境にレンダリングすることができる。
  論文  参考訳（メタデータ） (2020-11-21T01:01:53Z)
• Object-based Illumination Estimation with Rendering-aware Neural Networks [56.01734918693844]
  個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。 推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
  論文  参考訳（メタデータ） (2020-08-06T08:23:19Z)
• PointAR: Efficient Lighting Estimation for Mobile Augmented Reality [7.58114840374767]
  本稿では,現代のモバイルデバイス上での動作に適した効率的な照明推定パイプラインを提案する。 PointARは、モバイルカメラから撮影した1枚のRGB-D画像と、その画像中の2D位置を取得し、2次球面高調波係数を推定する。
  論文  参考訳（メタデータ） (2020-03-30T19:13:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。