論文の概要: LitAR: Visually Coherent Lighting for Mobile Augmented Reality

• arxiv url: http://arxiv.org/abs/2301.06184v1
• Date: Sun, 15 Jan 2023 20:47:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 17:03:44.099360
• Title: LitAR: Visually Coherent Lighting for Mobile Augmented Reality
• Title（参考訳）: litar: モバイル拡張現実のための視覚的コヒーレント照明
• Authors: Yiqin Zhao, Chongyang Ma, Haibin Huang, Tian Guo
• Abstract要約: 本稿では,LitARという照明再建フレームワークの設計と実装について述べる。 LitARは、モバイルARの照明情報をサポートするいくつかの課題に対処する。
• 参考スコア（独自算出の注目度）: 24.466149552743516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An accurate understanding of omnidirectional environment lighting is crucial for high-quality virtual object rendering in mobile augmented reality (AR). In particular, to support reflective rendering, existing methods have leveraged deep learning models to estimate or have used physical light probes to capture physical lighting, typically represented in the form of an environment map. However, these methods often fail to provide visually coherent details or require additional setups. For example, the commercial framework ARKit uses a convolutional neural network that can generate realistic environment maps; however the corresponding reflective rendering might not match the physical environments. In this work, we present the design and implementation of a lighting reconstruction framework called LitAR that enables realistic and visually-coherent rendering. LitAR addresses several challenges of supporting lighting information for mobile AR. First, to address the spatial variance problem, LitAR uses two-field lighting reconstruction to divide the lighting reconstruction task into the spatial variance-aware near-field reconstruction and the directional-aware far-field reconstruction. The corresponding environment map allows reflective rendering with correct color tones. Second, LitAR uses two noise-tolerant data capturing policies to ensure data quality, namely guided bootstrapped movement and motion-based automatic capturing. Third, to handle the mismatch between the mobile computation capability and the high computation requirement of lighting reconstruction, LitAR employs two novel real-time environment map rendering techniques called multi-resolution projection and anchor extrapolation. These two techniques effectively remove the need of time-consuming mesh reconstruction while maintaining visual quality.
• Abstract（参考訳）: 全方位環境照明の正確な理解は、モバイル拡張現実(AR)における高品質な仮想オブジェクトレンダリングに不可欠である。 特に、反射レンダリングをサポートするために、既存の手法はディープラーニングモデルを利用して物理光プローブを推定または使用し、通常は環境マップの形式で表現される物理照明を捉える。 しかし、これらのメソッドは視覚的に一貫性のある詳細を提供できず、追加のセットアップが必要となることが多い。 例えば、商用フレームワークのarkitでは、現実的な環境マップを生成する畳み込みニューラルネットワークを使用しているが、対応する反射レンダリングは物理的環境と一致しない可能性がある。 本稿では,現実的かつ視覚的に整合的なレンダリングを実現するLitARという照明再構成フレームワークの設計と実装について述べる。 LitARは、モバイルARの照明情報をサポートするいくつかの課題に対処する。 まず、空間分散問題に対処するため、litarは2フィールド照明再構成を用いて、照明再構成タスクを空間分散認識近接場再構成と方向認識遠方場再構成に分割する。 対応する環境マップは、正しい色調の反射レンダリングを可能にする。 第2に、LitARは2つのノイズ耐性データキャプチャポリシーを使用して、データ品質を保証する。 第3に,光再構成の計算能力と高い計算要求のミスマッチを処理するために,マルチレゾリューションプロジェクションとアンカー外挿という,2つの新しいリアルタイム環境マップレンダリング技術を採用している。 これら2つのテクニックは、視覚的品質を維持しながら、時間を要するメッシュ再構成の必要性を効果的に排除する。

関連論文リスト

• CleAR: Robust Context-Guided Generative Lighting Estimation for Mobile Augmented Reality [6.292933471495322]
  我々は,360$circ$画像のフォーマットで高品質な環境マップを作成できるCleARと呼ばれるジェネレーティブ照明推定システムを提案する。 エンドツーエンドの生成推定には3.2秒の速さで、最先端の手法を110倍に向上させる。
  論文  参考訳（メタデータ） (2024-11-04T15:37:18Z)
• RISE-SDF: a Relightable Information-Shared Signed Distance Field for Glossy Object Inverse Rendering [26.988572852463815]
  本稿では,新しいエンド・ツー・エンド・エンド・リライトブル・ニューラル・リバース・レンダリングシステムを提案する。 本アルゴリズムは,逆レンダリングとリライトにおける最先端性能を実現する。 実験により, 逆レンダリングおよびリライティングにおける最先端性能が得られた。
  論文  参考訳（メタデータ） (2024-09-30T09:42:10Z)
• PBIR-NIE: Glossy Object Capture under Non-Distant Lighting [30.325872237020395]
  グロッシーオブジェクトは自然光下での多視点入力画像から3次元再構成を行う上で重要な課題となる。 PBIR-NIEは, 物体の形状, 材料特性, 周囲の照明を均等に捉えるために設計された逆レンダリングフレームワークである。
  論文  参考訳（メタデータ） (2024-08-13T13:26:24Z)
• Neural Relighting with Subsurface Scattering by Learning the Radiance Transfer Gradient [73.52585139592398]
  本稿では,ボリュームレンダリングによる放射移動場学習のための新しいフレームワークを提案する。 我々は、我々のコードと、地下散乱効果を持つ新しい光ステージのオブジェクトデータセットを公開します。
  論文  参考訳（メタデータ） (2023-06-15T17:56:04Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• NeAI: A Pre-convoluted Representation for Plug-and-Play Neural Ambient Illumination [28.433403714053103]
  ニューラル環境照明(NeAI)という枠組みを提案する。 NeAIは、物理的な方法で複雑な照明を扱うための照明モデルとしてNeRF(Neural Radiance Fields)を使用している。 実験は、以前の作品と比較して、ノベルビューレンダリングの優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-04-18T06:32:30Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• Multitask AET with Orthogonal Tangent Regularity for Dark Object Detection [84.52197307286681]
  暗黒環境下でのオブジェクト検出を強化するために,新しいマルチタスク自動符号化変換(MAET)モデルを提案する。 自己超越的な方法で、MAETは、現実的な照明劣化変換を符号化して復号することで、本質的な視覚構造を学習する。 我々は,合成および実世界のデータセットを用いて最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2022-05-06T16:27:14Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Object-based Illumination Estimation with Rendering-aware Neural Networks [56.01734918693844]
  個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。 推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
  論文  参考訳（メタデータ） (2020-08-06T08:23:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。