論文の概要: IllumiNet: Transferring Illumination from Planar Surfaces to Virtual
Objects in Augmented Reality
- arxiv url: http://arxiv.org/abs/2007.05981v1
- Date: Sun, 12 Jul 2020 13:11:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 05:56:22.435554
- Title: IllumiNet: Transferring Illumination from Planar Surfaces to Virtual
Objects in Augmented Reality
- Title(参考訳): IllumiNet:拡張現実における平面面から仮想物体へのイルミネーション
- Authors: Di Xu, Zhen Li, Yanning Zhang, Qi Cao
- Abstract要約: 本稿では,学習による実環境における仮想物体の照明推定手法を提案する。
一つのRGB画像が与えられた場合、シーンの平面面から抽出した照明特徴を所望のジオメトリに転送することで、信頼度の高い仮想オブジェクトを直接推測する。
- 参考スコア(独自算出の注目度): 38.83696624634213
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents an illumination estimation method for virtual objects in
real environment by learning. While previous works tackled this problem by
reconstructing high dynamic range (HDR) environment maps or the corresponding
spherical harmonics, we do not seek to recover the lighting environment of the
entire scene. Given a single RGB image, our method directly infers the relit
virtual object by transferring the illumination features extracted from planar
surfaces in the scene to the desired geometries. Compared to previous works,
our approach is more robust as it works in both indoor and outdoor environments
with spatially-varying illumination. Experiments and evaluation results show
that our approach outperforms the state-of-the-art quantitatively and
qualitatively, achieving realistic augmented experience.
- Abstract(参考訳): 本稿では,学習による実環境における仮想物体の照明推定手法を提案する。
従来の作業では,高ダイナミックレンジ(HDR)環境マップやそれに対応する球面高調波を再構成することでこの問題に対処していたが,シーン全体の照明環境の回復は試みていない。
一つのRGB画像が与えられた場合、シーンの平面面から抽出した照明特徴を所望のジオメトリに転送することで、信頼度の高い仮想オブジェクトを直接推測する。
従来の作品と比較して,室内環境と屋外環境の両方で,空間的な照度を持つため,このアプローチはより堅牢である。
実験および評価結果から,本手法は,現実的な拡張現実体験を達成し,定量的かつ質的にその性能を向上することが示された。
関連論文リスト
- Holistic Inverse Rendering of Complex Facade via Aerial 3D Scanning [39.87943157165662]
我々は多視点空中画像を用いて、ニューラルサイン距離場(SDF)を用いたファサードの形状、照明、材料を再構成する。
本実験は, ファサード全体の逆レンダリング, 新規なビュー合成, シーン編集において, 最先端のベースラインと比較して, 手法の優れた品質を示すものである。
論文 参考訳(メタデータ) (2023-11-20T15:03:56Z) - A Real-time Method for Inserting Virtual Objects into Neural Radiance
Fields [38.370278809341954]
本稿では,剛体仮想物体を神経放射場に挿入する最初のリアルタイム手法を提案する。
提案手法は,NeRFにおける照明と幾何学に関する豊富な情報を活用することで,拡張現実における物体挿入の課題を克服する。
論文 参考訳(メタデータ) (2023-10-09T16:26:34Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳(メタデータ) (2023-05-07T20:36:29Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳(メタデータ) (2022-09-21T17:15:58Z) - Neural Light Field Estimation for Street Scenes with Differentiable
Virtual Object Insertion [129.52943959497665]
既存の屋外照明推定の作業は通常、シーン照明を環境マップに単純化する。
単一画像から5次元HDR光場を推定するニューラルネットワークを提案する。
自律運転アプリケーションにおけるARオブジェクト挿入の利点を示す。
論文 参考訳(メタデータ) (2022-08-19T17:59:16Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳(メタデータ) (2021-10-30T01:59:39Z) - HDR Environment Map Estimation for Real-Time Augmented Reality [7.6146285961466]
視野の狭いLDRカメラ画像からHDR環境マップをリアルタイムで推定する手法を提案する。
これにより、鏡から拡散まで、あらゆる材料仕上げの仮想物体に視覚的に訴える反射や陰影を、拡張現実を使って現実の物理的環境にレンダリングすることができる。
論文 参考訳(メタデータ) (2020-11-21T01:01:53Z) - Object-based Illumination Estimation with Rendering-aware Neural
Networks [56.01734918693844]
個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。
推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
論文 参考訳(メタデータ) (2020-08-06T08:23:19Z) - Learning Implicit Surface Light Fields [34.89812112073539]
近年,3次元オブジェクトの暗示表現は,学習に基づく3次元再構成作業において顕著な成果を上げている。
本研究では,物体の視覚的外観を表面光界で捉えるための新しい暗黙表現を提案する。
我々のモデルは、影や鏡面反射を含むリッチな視覚的外観を推測することができる。
論文 参考訳(メタデータ) (2020-03-27T13:17:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。