論文の概要: CleAR: Robust Context-Guided Generative Lighting Estimation for Mobile Augmented Reality

• arxiv url: http://arxiv.org/abs/2411.02179v1
• Date: Mon, 04 Nov 2024 15:37:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 21:27:15.647665
• Title: CleAR: Robust Context-Guided Generative Lighting Estimation for Mobile Augmented Reality
• Title（参考訳）: CleAR: モバイル拡張現実のためのロバストなコンテキストガイドによる生成照明推定
• Authors: Yiqin Zhao, Mallesham Dasari, Tian Guo,
• Abstract要約: 我々は,360$circ$画像のフォーマットで高品質な環境マップを作成できるCleARと呼ばれるジェネレーティブ照明推定システムを提案する。 エンドツーエンドの生成推定には3.2秒の速さで、最先端の手法を110倍に向上させる。
• 参考スコア（独自算出の注目度）: 6.292933471495322
• License:
• Abstract: High-quality environment lighting is the foundation of creating immersive user experiences in mobile augmented reality (AR) applications. However, achieving visually coherent environment lighting estimation for Mobile AR is challenging due to several key limitations associated with AR device sensing capabilities, including limitations in device camera FoV and pixel dynamic ranges. Recent advancements in generative AI, which can generate high-quality images from different types of prompts, including texts and images, present a potential solution for high-quality lighting estimation. Still, to effectively use generative image diffusion models, we must address their key limitations of generation hallucination and slow inference process. To do so, in this work, we design and implement a generative lighting estimation system called CleAR that can produce high-quality and diverse environment maps in the format of 360$^\circ$ images. Specifically, we design a two-step generation pipeline guided by AR environment context data to ensure the results follow physical environment visual context and color appearances. To improve the estimation robustness under different lighting conditions, we design a real-time refinement component to adjust lighting estimation results on AR devices. To train and test our generative models, we curate a large-scale environment lighting estimation dataset with diverse lighting conditions. Through quantitative evaluation and user study, we show that CleAR outperforms state-of-the-art lighting estimation methods on both estimation accuracy and robustness. Moreover, CleAR supports real-time refinement of lighting estimation results, ensuring robust and timely environment lighting updates for AR applications. Our end-to-end generative estimation takes as fast as 3.2 seconds, outperforming state-of-the-art methods by 110x.
• Abstract（参考訳）: 高品質な環境照明は、モバイル拡張現実(AR)アプリケーションに没入感のあるユーザーエクスペリエンスを作成する基盤である。 しかし、デバイスカメラFoVやピクセルダイナミックレンジの制限など、ARデバイスセンシング機能に関連するいくつかの重要な制限のために、モバイルARの視覚的コヒーレントな環境照明推定を実現することは困難である。 テキストや画像を含むさまざまな種類のプロンプトから高品質な画像を生成するジェネレーティブAIの最近の進歩は、高品質な照明推定の潜在的な解決策を提供する。 それでも、生成画像拡散モデルを効果的に活用するには、生成幻覚と遅い推論プロセスの鍵となる限界に対処する必要がある。 そこで本研究では,360$^\circ$画像のフォーマットで高品質で多様な環境マップを作成可能なCleARと呼ばれる生成照明推定システムの設計と実装を行う。 具体的には、AR環境コンテキストデータによってガイドされる2ステップ生成パイプラインを設計し、物理環境の視覚的コンテキストや色見栄えに追従することを保証する。 異なる照明条件下でのロバスト性を改善するために,ARデバイス上での照明推定結果を調整するためのリアルタイムリファインメントコンポーネントを設計する。 生成モデルの訓練と試験を行うため,様々な照明条件で大規模環境照明推定データセットをキュレートする。 定量的評価とユーザスタディにより、CleARは推定精度とロバスト性の両方で最先端の照明推定方法より優れていることを示す。 さらに、CleARは照明推定結果をリアルタイムに改善し、ARアプリケーションの堅牢でタイムリーな環境照明更新を保証する。 エンドツーエンドの生成推定には3.2秒の速さで、最先端の手法を110倍に向上させる。

関連論文リスト

• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• TensoIR: Tensorial Inverse Rendering [51.57268311847087]
  テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。 TensoRFは、放射場モデリングのための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-04-24T21:39:13Z)
• LitAR: Visually Coherent Lighting for Mobile Augmented Reality [24.466149552743516]
  本稿では,LitARという照明再建フレームワークの設計と実装について述べる。 LitARは、モバイルARの照明情報をサポートするいくつかの課題に対処する。
  論文  参考訳（メタデータ） (2023-01-15T20:47:38Z)
• Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion [129.52943959497665]
  既存の屋外照明推定の作業は通常、シーン照明を環境マップに単純化する。 単一画像から5次元HDR光場を推定するニューラルネットワークを提案する。 自律運転アプリケーションにおけるARオブジェクト挿入の利点を示す。
  論文  参考訳（メタデータ） (2022-08-19T17:59:16Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Spatially and color consistent environment lighting estimation using deep neural networks for mixed reality [1.1470070927586016]
  本稿では,複合現実環境における複雑な照明を推定するためのCNNモデルを提案する。 我々は,RGB画像を入力し,環境照明をリアルタイムで認識する新しいCNNアーキテクチャを提案する。 CNNアーキテクチャは,SH照明係数を比較する際に,平均2乗誤差(MSE)をnum7.85e-04の平均2乗誤差(MSE)で予測できることを示す。
  論文  参考訳（メタデータ） (2021-08-17T23:03:55Z)
• Sparse Needlets for Lighting Estimation with Spherical Transport Loss [89.52531416604774]
  NeedleLightは、新しい照明推定モデルであり、必要に応じて照明を表現し、周波数領域と空間領域を共同で照明推定することができる。 大規模な実験により、NeedleLightは、最先端の手法と比較して、複数の評価指標で常に優れた照明推定を実現していることがわかった。
  論文  参考訳（メタデータ） (2021-06-24T15:19:42Z)
• Xihe: A 3D Vision-based Lighting Estimation Framework for Mobile Augmented Reality [9.129335351176904]
  我々はXiheと呼ばれるエッジ支援フレームワークを設計し、モバイルARアプリケーションに対して、全方位照明の正確な推定をリアルタイムで行えるようにした。 オンデバイス・ポイント・クラウド処理に適したGPUパイプラインを開発し,ネットワーク伝送バイトを削減するエンコーディング技術を用いた。 この結果から、Xiheは照明推定に20.67msを要し、最先端のニューラルネットワークよりも9.4%の精度で推定できることがわかった。
  論文  参考訳（メタデータ） (2021-05-30T13:48:29Z)
• Object-based Illumination Estimation with Rendering-aware Neural Networks [56.01734918693844]
  個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。 推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
  論文  参考訳（メタデータ） (2020-08-06T08:23:19Z)
• PointAR: Efficient Lighting Estimation for Mobile Augmented Reality [7.58114840374767]
  本稿では,現代のモバイルデバイス上での動作に適した効率的な照明推定パイプラインを提案する。 PointARは、モバイルカメラから撮影した1枚のRGB-D画像と、その画像中の2D位置を取得し、2次球面高調波係数を推定する。
  論文  参考訳（メタデータ） (2020-03-30T19:13:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。