論文の概要: Real-time Light Estimation and Neural Soft Shadows for AR Indoor Scenarios

• arxiv url: http://arxiv.org/abs/2308.01613v1
• Date: Thu, 3 Aug 2023 08:41:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 14:48:37.727103
• Title: Real-time Light Estimation and Neural Soft Shadows for AR Indoor Scenarios
• Title（参考訳）: AR屋内シナリオのためのリアルタイム光推定とニューラルソフトシャドウ
• Authors: Alexander Sommer, Ulrich Schwanecke, Elmar Sch\"omer
• Abstract要約: 仮想オブジェクトを屋内シーンの映像に埋め込むパイプラインを,リアルタイムARアプリケーションに焦点をあてて提示する。 我々のパイプラインは、光推定器と神経ソフトシャドウテクスチャジェネレータの2つの主要コンポーネントから構成されている。 iPhone 11 Proでは,光推定で9ms,ニューラルシャドーで5msのランタイムを実現しています。
• 参考スコア（独自算出の注目度）: 70.6824004127609
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a pipeline for realistic embedding of virtual objects into footage of indoor scenes with focus on real-time AR applications. Our pipeline consists of two main components: A light estimator and a neural soft shadow texture generator. Our light estimation is based on deep neural nets and determines the main light direction, light color, ambient color and an opacity parameter for the shadow texture. Our neural soft shadow method encodes object-based realistic soft shadows as light direction dependent textures in a small MLP. We show that our pipeline can be used to integrate objects into AR scenes in a new level of realism in real-time. Our models are small enough to run on current mobile devices. We achieve runtimes of 9ms for light estimation and 5ms for neural shadows on an iPhone 11 Pro.
• Abstract（参考訳）: 室内シーンの映像に仮想物体をリアルに埋め込み、リアルタイムARアプリケーションに焦点を当てたパイプラインを提案する。 我々のパイプラインは、光推定器と神経ソフトシャドウテクスチャジェネレータの2つの主要コンポーネントから構成されている。 我々の光推定は深層ニューラルネットワークに基づいて、影テクスチャの主光方向、光色、周囲色、不透明度パラメータを決定する。 我々のニューラルソフトシャドウ法は、小さなMLPの光方向依存テクスチャとしてオブジェクトベースの現実的なソフトシャドウを符号化する。 私たちのパイプラインは、オブジェクトをarシーンにリアルタイムに新しいレベルのリアリズムで統合するために使用できます。 私たちのモデルは、現在のモバイルデバイスで動かすのに十分小さいです。 iPhone 11 Proでは,光推定で9ms,ニューラルシャドーで5msのランタイムを実現しています。

関連論文リスト

• Real-Time Neural Rasterization for Large Scenes [39.198327570559684]
  本研究では,大規模シーンのリアルタイムなノベルビュー合成のための新しい手法を提案する。 既存のニューラルネットワークレンダリング手法は現実的な結果を生成するが、主に小規模なシーンで機能する。 私たちの仕事は、大規模な現実世界のシーンのリアルタイムレンダリングを可能にする最初のものです。
  論文  参考訳（メタデータ） (2023-11-09T18:59:10Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• Light Sampling Field and BRDF Representation for Physically-based Neural Rendering [4.440848173589799]
  物理ベースのレンダリング(PBR)は、コンピュータグラフィックス資産の詳細な現実的なシーンを展示するために業界で広く使われている没入型レンダリングエフェクトの鍵である。 本稿では,学習光サンプリングフィールドにおける光サンプリング戦略を通じて,直接的および間接的な光を局所的にモデル化する新しい照明表現を提案する。 次に,提案した表現を,標準の顔アセットとHDRIを入力とし,出力として写真リアリスティックなレンダリングを生成する,エンドツーエンドの物理ベースニューラルフェイススキンシェーダを用いて実装する。
  論文  参考訳（メタデータ） (2023-04-11T19:54:50Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• Neural Assets: Volumetric Object Capture and Rendering for Interactive Environments [8.258451067861932]
  本研究では,現実の物体を日常の環境に忠実かつ迅速に捕獲する手法を提案する。 我々は、新しい神経表現を用いて、透明な物体部品などの効果を再構築し、物体の外観を保ちます。 これにより、提案されたニューラルネットワークアセットを既存のメッシュ環境やオブジェクトとシームレスに統合することが可能になる。
  論文  参考訳（メタデータ） (2022-12-12T18:55:03Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• Xihe: A 3D Vision-based Lighting Estimation Framework for Mobile Augmented Reality [9.129335351176904]
  我々はXiheと呼ばれるエッジ支援フレームワークを設計し、モバイルARアプリケーションに対して、全方位照明の正確な推定をリアルタイムで行えるようにした。 オンデバイス・ポイント・クラウド処理に適したGPUパイプラインを開発し,ネットワーク伝送バイトを削減するエンコーディング技術を用いた。 この結果から、Xiheは照明推定に20.67msを要し、最先端のニューラルネットワークよりも9.4%の精度で推定できることがわかった。
  論文  参考訳（メタデータ） (2021-05-30T13:48:29Z)
• Object-based Illumination Estimation with Rendering-aware Neural Networks [56.01734918693844]
  個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。 推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
  論文  参考訳（メタデータ） (2020-08-06T08:23:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。