論文の概要: PointAR: Efficient Lighting Estimation for Mobile Augmented Reality

• arxiv url: http://arxiv.org/abs/2004.00006v4
• Date: Fri, 17 Jul 2020 20:13:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 08:41:07.597226
• Title: PointAR: Efficient Lighting Estimation for Mobile Augmented Reality
• Title（参考訳）: PointAR:モバイル拡張現実のための効率的な照明推定
• Authors: Yiqin Zhao, Tian Guo
• Abstract要約: 本稿では,現代のモバイルデバイス上での動作に適した効率的な照明推定パイプラインを提案する。 PointARは、モバイルカメラから撮影した1枚のRGB-D画像と、その画像中の2D位置を取得し、2次球面高調波係数を推定する。
• 参考スコア（独自算出の注目度）: 7.58114840374767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an efficient lighting estimation pipeline that is suitable to run on modern mobile devices, with comparable resource complexities to state-of-the-art mobile deep learning models. Our pipeline, PointAR, takes a single RGB-D image captured from the mobile camera and a 2D location in that image, and estimates 2nd order spherical harmonics coefficients. This estimated spherical harmonics coefficients can be directly utilized by rendering engines for supporting spatially variant indoor lighting, in the context of augmented reality. Our key insight is to formulate the lighting estimation as a point cloud-based learning problem directly from point clouds, which is in part inspired by the Monte Carlo integration leveraged by real-time spherical harmonics lighting. While existing approaches estimate lighting information with complex deep learning pipelines, our method focuses on reducing the computational complexity. Through both quantitative and qualitative experiments, we demonstrate that PointAR achieves lower lighting estimation errors compared to state-of-the-art methods. Further, our method requires an order of magnitude lower resource, comparable to that of mobile-specific DNNs.
• Abstract（参考訳）: 本稿では,現在のモバイルディープラーニングモデルに匹敵する資源量を持つ,現代のモバイルデバイスで動作するのに適した効率的な照明推定パイプラインを提案する。 私たちのパイプラインであるpointarは、モバイルカメラから撮影された単一のrgb-dイメージと、その画像中の2dロケーションを取り込み、球面高調波係数を推定します。 この推定球面調和係数は、拡張現実の文脈で空間的に変化する屋内照明をサポートするレンダリングエンジンによって直接利用できる。 私たちの重要な洞察は、点雲から直接点クラウドベースの学習問題として照明推定を定式化することです。 既存の手法では複雑な深層学習パイプラインを用いて照明情報を推定するが,本手法は計算複雑性の低減に重点を置いている。 定量的および定性的な実験により、PointARは最先端手法と比較して照明推定誤差が低いことを示す。 さらに,本手法では,モバイル特化DNNに匹敵する,桁違いのリソースを必要とする。

関連論文リスト

• MixLight: Borrowing the Best of both Spherical Harmonics and Gaussian Models [69.39388799906409]
  既存の作業では、照明マップを生成したり、照明パラメータを回帰することによって照明を推定する。 本稿では,SHとSGの相補的特性を利用して,より完全な照明表現を実現するジョイントモデルであるMixLightを提案する。
  論文  参考訳（メタデータ） (2024-04-19T10:17:10Z)
• LightOctree: Lightweight 3D Spatially-Coherent Indoor Lighting Estimation [4.079873017864992]
  一つのRGB画像から空間的コヒーレントな室内照明を推定するための軽量な解を提案する。 本稿では,3次元空間コヒーレント照明を実現するために,ボクセルオクツリーを用いた照明推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-05T07:15:06Z)
• SplitNeRF: Split Sum Approximation Neural Field for Joint Geometry, Illumination, and Material Estimation [65.99344783327054]
  本稿では, 実世界の物体の形状, 材料特性, 照明特性を推定してデジタル化する手法を提案する。 提案手法は,実時間物理ベースのレンダリングに画像ベースの照明で使用される分割和近似を,レーダランスニューラルネットワーク(NeRF)パイプラインに組み込む。 提案手法は,NVIDIA A100 GPUを1つのGPUで1時間に1ドル程度のトレーニングをした後で,最先端のリライト品質を実現することができる。
  論文  参考訳（メタデータ） (2023-11-28T10:36:36Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• Sparse Needlets for Lighting Estimation with Spherical Transport Loss [89.52531416604774]
  NeedleLightは、新しい照明推定モデルであり、必要に応じて照明を表現し、周波数領域と空間領域を共同で照明推定することができる。 大規模な実験により、NeedleLightは、最先端の手法と比較して、複数の評価指標で常に優れた照明推定を実現していることがわかった。
  論文  参考訳（メタデータ） (2021-06-24T15:19:42Z)
• Xihe: A 3D Vision-based Lighting Estimation Framework for Mobile Augmented Reality [9.129335351176904]
  我々はXiheと呼ばれるエッジ支援フレームワークを設計し、モバイルARアプリケーションに対して、全方位照明の正確な推定をリアルタイムで行えるようにした。 オンデバイス・ポイント・クラウド処理に適したGPUパイプラインを開発し,ネットワーク伝送バイトを削減するエンコーディング技術を用いた。 この結果から、Xiheは照明推定に20.67msを要し、最先端のニューラルネットワークよりも9.4%の精度で推定できることがわかった。
  論文  参考訳（メタデータ） (2021-05-30T13:48:29Z)
• Leveraging Spatial and Photometric Context for Calibrated Non-Lambertian Photometric Stereo [61.6260594326246]
  空間と測光の両方を同時に活用できる効率的な完全畳み込みアーキテクチャを提案する。 分離可能な4D畳み込みと2D熱マップを使うことで、サイズが小さくなり、効率が向上する。
  論文  参考訳（メタデータ） (2021-03-22T18:06:58Z)
• Object-based Illumination Estimation with Rendering-aware Neural Networks [56.01734918693844]
  個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。 推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
  論文  参考訳（メタデータ） (2020-08-06T08:23:19Z)
• Deep Lighting Environment Map Estimation from Spherical Panoramas [0.0]
  本稿では,単一のLDR単分子球状パノラマからHDR照明環境マップを推定するデータ駆動モデルを提案する。 データジェネレータと監視機構として画像ベースのリライティングを活用するために,表面形状の可用性を活用する。
  論文  参考訳（メタデータ） (2020-05-16T14:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。