論文の概要: Multi-Camera Lighting Estimation for Photorealistic Front-Facing Mobile Augmented Reality

• arxiv url: http://arxiv.org/abs/2301.06143v1
• Date: Sun, 15 Jan 2023 16:52:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 17:14:41.224039
• Title: Multi-Camera Lighting Estimation for Photorealistic Front-Facing Mobile Augmented Reality
• Title（参考訳）: フォトリアリスティックフロントエンドモバイル拡張現実のためのマルチカメラ照明推定
• Authors: Yiqin Zhao, Sean Fanello, Tian Guo
• Abstract要約: 照明理解は、モバイル拡張現実(AR)アプリケーションを含む仮想オブジェクト合成において重要な役割を果たす。 本稿では,マルチビュー照明再構成とパラメトリック指向性照明推定を組み合わせることで,デュアルカメラストリーミングを活用して高品質な環境マップを作成することを提案する。
• 参考スコア（独自算出の注目度）: 6.41726492515401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lighting understanding plays an important role in virtual object composition, including mobile augmented reality (AR) applications. Prior work often targets recovering lighting from the physical environment to support photorealistic AR rendering. Because the common workflow is to use a back-facing camera to capture the physical world for overlaying virtual objects, we refer to this usage pattern as back-facing AR. However, existing methods often fall short in supporting emerging front-facing mobile AR applications, e.g., virtual try-on where a user leverages a front-facing camera to explore the effect of various products (e.g., glasses or hats) of different styles. This lack of support can be attributed to the unique challenges of obtaining 360$^\circ$ HDR environment maps, an ideal format of lighting representation, from the front-facing camera and existing techniques. In this paper, we propose to leverage dual-camera streaming to generate a high-quality environment map by combining multi-view lighting reconstruction and parametric directional lighting estimation. Our preliminary results show improved rendering quality using a dual-camera setup for front-facing AR compared to a commercial solution.
• Abstract（参考訳）: 照明理解は、モバイル拡張現実(AR)アプリケーションを含む仮想オブジェクト合成において重要な役割を果たす。 以前の作業は、フォトリアリスティックARレンダリングをサポートするために、物理的環境からのリカバリを目標とすることが多い。 一般的なワークフローは、仮想オブジェクトをオーバーレイする物理世界を捉えるために、バックフェイスカメラを使用するため、この使用パターンをバックフェイスARと呼ぶ。 しかし、既存の方法は、ユーザーがフロントカメラを利用して様々なスタイルの製品(眼鏡や帽子など)の効果を探索する仮想トライオンなど、新興のモバイルARアプリケーションのサポートにおいて不足することが多い。 このサポートの欠如は、前面カメラや既存の技術から360$^\circ$ HDR環境マップ、照明表現の理想的なフォーマットを得るというユニークな課題に起因している。 本稿では,多視点照明再構成とパラメトリック方向照明推定を組み合わせた高画質環境マップを作成するために,デュアルカメラストリーミングを活用することを提案する。 本実験では,前面arに対するデュアルカメラによるレンダリング品質の向上を,商用ソリューションと比較して示した。

関連論文リスト

• CleAR: Robust Context-Guided Generative Lighting Estimation for Mobile Augmented Reality [6.292933471495322]
  我々は,360$circ$画像のフォーマットで高品質な環境マップを作成できるCleARと呼ばれるジェネレーティブ照明推定システムを提案する。 エンドツーエンドの生成推定には3.2秒の速さで、最先端の手法を110倍に向上させる。
  論文  参考訳（メタデータ） (2024-11-04T15:37:18Z)
• Lite2Relight: 3D-aware Single Image Portrait Relighting [87.62069509622226]
  Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。 事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。 これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
  論文  参考訳（メタデータ） (2024-07-15T07:16:11Z)
• Relighting Scenes with Object Insertions in Neural Radiance Fields [24.18050535794117]
  本研究では,物体のNeRFをシーンのNeRFに挿入するための新しいNeRFパイプラインを提案する。 提案手法は,広範囲な実験評価において,現実的な照明効果を実現する。
  論文  参考訳（メタデータ） (2024-06-21T00:58:58Z)
• IRIS: Inverse Rendering of Indoor Scenes from Low Dynamic Range Images [32.83096814910201]
  本稿では,多視点低ダイナミックレンジ(LDR)画像からシーンの物理的特性と照明を復元する手法を提案する。 提案手法は,LDR画像を入力として利用する既存の手法よりも優れており,リアルなリライティングやオブジェクト挿入を実現している。
  論文  参考訳（メタデータ） (2024-01-23T18:59:56Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• WildLight: In-the-wild Inverse Rendering with a Flashlight [77.31815397135381]
  本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。 本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。 提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-24T17:59:56Z)
• LitAR: Visually Coherent Lighting for Mobile Augmented Reality [24.466149552743516]
  本稿では,LitARという照明再建フレームワークの設計と実装について述べる。 LitARは、モバイルARの照明情報をサポートするいくつかの課題に対処する。
  論文  参考訳（メタデータ） (2023-01-15T20:47:38Z)
• Perceptual Image Enhancement for Smartphone Real-Time Applications [60.45737626529091]
  本稿では,知覚的画像強調のための軽量ネットワークLPIENetを提案する。 我々のモデルは、ノイズアーティファクト、回折アーティファクト、ぼかし、HDR過剰露光を扱うことができる。 我々のモデルは、中級商用スマートフォンで1秒未満で2K解像度画像を処理することができる。
  論文  参考訳（メタデータ） (2022-10-24T19:16:33Z)
• On-the-go Reflectance Transformation Imaging with Ordinary Smartphones [5.381004207943598]
  リフレクタンス・トランスフォーメーション・イメージング(RTI)は、ピクセルごとのリフレクタンス情報の回復を可能にする一般的な技術である。 本稿では,通常の2台のスマートフォンで動画を録画することで,新たなRTI手法を提案する。
  論文  参考訳（メタデータ） (2022-10-18T13:00:22Z)
• Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion [129.52943959497665]
  既存の屋外照明推定の作業は通常、シーン照明を環境マップに単純化する。 単一画像から5次元HDR光場を推定するニューラルネットワークを提案する。 自律運転アプリケーションにおけるARオブジェクト挿入の利点を示す。
  論文  参考訳（メタデータ） (2022-08-19T17:59:16Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。