論文の概要: HDR Environment Map Estimation for Real-Time Augmented Reality

• arxiv url: http://arxiv.org/abs/2011.10687v5
• Date: Tue, 27 Jul 2021 20:48:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 22:58:12.661317
• Title: HDR Environment Map Estimation for Real-Time Augmented Reality
• Title（参考訳）: リアルタイム拡張現実のためのHDR環境マップ推定
• Authors: Gowri Somanath and Daniel Kurz
• Abstract要約: 視野の狭いLDRカメラ画像からHDR環境マップをリアルタイムで推定する手法を提案する。 これにより、鏡から拡散まで、あらゆる材料仕上げの仮想物体に視覚的に訴える反射や陰影を、拡張現実を使って現実の物理的環境にレンダリングすることができる。
• 参考スコア（独自算出の注目度）: 7.6146285961466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a method to estimate an HDR environment map from a narrow field-of-view LDR camera image in real-time. This enables perceptually appealing reflections and shading on virtual objects of any material finish, from mirror to diffuse, rendered into a real physical environment using augmented reality. Our method is based on our efficient convolutional neural network architecture, EnvMapNet, trained end-to-end with two novel losses, ProjectionLoss for the generated image, and ClusterLoss for adversarial training. Through qualitative and quantitative comparison to state-of-the-art methods, we demonstrate that our algorithm reduces the directional error of estimated light sources by more than 50%, and achieves 3.7 times lower Frechet Inception Distance (FID). We further showcase a mobile application that is able to run our neural network model in under 9 ms on an iPhone XS, and render in real-time, visually coherent virtual objects in previously unseen real-world environments.
• Abstract（参考訳）: 本稿では,狭視野ldrカメラ画像からhdr環境マップをリアルタイムに推定する手法を提案する。 これにより、鏡から拡散まで、あらゆる材料仕上げの仮想物体に視覚的に訴える反射や陰影を、拡張現実を使って現実の物理的環境にレンダリングすることができる。 提案手法は,効率的な畳み込みニューラルネットワークアーキテクチャであるenvmapnetをベースとし,2つの新たな損失を伴うエンドツーエンドのトレーニング,生成画像のプロジェクションロス,敵学習のためのクラスタロスをベースとする。 定性的かつ定量的な比較により,提案アルゴリズムは推定光源の方向誤差を50%以上低減し,Frechet Inception Distance (FID) の3.7倍低下することを示した。 さらに、iPhone XS上でニューラルネットワークモデルを9ミリ秒未満で実行し、これまで目にしなかった現実世界環境で、リアルタイムで視覚的に一貫性のある仮想オブジェクトをレンダリングできるモバイルアプリケーションを紹介します。

関連論文リスト

• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• Xihe: A 3D Vision-based Lighting Estimation Framework for Mobile Augmented Reality [9.129335351176904]
  我々はXiheと呼ばれるエッジ支援フレームワークを設計し、モバイルARアプリケーションに対して、全方位照明の正確な推定をリアルタイムで行えるようにした。 オンデバイス・ポイント・クラウド処理に適したGPUパイプラインを開発し,ネットワーク伝送バイトを削減するエンコーディング技術を用いた。 この結果から、Xiheは照明推定に20.67msを要し、最先端のニューラルネットワークよりも9.4%の精度で推定できることがわかった。
  論文  参考訳（メタデータ） (2021-05-30T13:48:29Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)
• PX-NET: Simple and Efficient Pixel-Wise Training of Photometric Stereo Networks [26.958763133729846]
  光を反射する物体の正確な3D再構成は、コンピュータビジョンにおいて非常に難しい課題だ。 本稿では,グローバルにレンダリングされた画像のトレーニングデータ(観測マップ)を,画素単位の独立なデータに置き換えることで,正規予測のための新たな画素単位のトレーニング手順を提案する。 我々のネットワークであるPX-NETは、合成データセット上の他のピクセルワイズ手法と比較して最先端の性能を実現している。
  論文  参考訳（メタデータ） (2020-08-11T18:03:13Z)
• Object-based Illumination Estimation with Rendering-aware Neural Networks [56.01734918693844]
  個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。 推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
  論文  参考訳（メタデータ） (2020-08-06T08:23:19Z)
• IllumiNet: Transferring Illumination from Planar Surfaces to Virtual Objects in Augmented Reality [38.83696624634213]
  本稿では,学習による実環境における仮想物体の照明推定手法を提案する。 一つのRGB画像が与えられた場合、シーンの平面面から抽出した照明特徴を所望のジオメトリに転送することで、信頼度の高い仮想オブジェクトを直接推測する。
  論文  参考訳（メタデータ） (2020-07-12T13:11:14Z)
• Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement [78.58603635621591]
  画像空間における未ペアの合成-現実翻訳ネットワークの訓練は、厳しい制約下にある。 画像の非交叉シェーディング層とアルベド層に作用する半教師付きアプローチを提案する。 私たちの2段階のパイプラインはまず、物理ベースのレンダリングをターゲットとして、教師付き方法で正確なシェーディングを予測することを学習します。
  論文  参考訳（メタデータ） (2020-03-27T21:45:41Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。