論文の概要: Personalized Video Relighting Using Casual Light Stage
- arxiv url: http://arxiv.org/abs/2311.08843v2
- Date: Sun, 3 Dec 2023 02:21:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 21:24:21.088839
- Title: Personalized Video Relighting Using Casual Light Stage
- Title(参考訳): カジュアルライトステージを用いたパーソナライズされたビデオリライト
- Authors: Jun Myeong Choi, Max Christman, Roni Sengupta
- Abstract要約: モニタでYouTubeビデオを見ているユーザのビデオをカジュアルにキャプチャすることで、任意の条件下で高品質なリライティングを生成できるパーソナライズされたアルゴリズムをトレーニングできることを示す。
我々の重要な貢献は、固有の外観特徴、幾何学、反射性を効果的に分離し、ターゲットの照明と組み合わせて、信頼された画像を生成する、新しい神経リライティングアーキテクチャである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we develop a personalized video relighting algorithm that
produces high-quality and temporally consistent relit video under any pose,
expression, and lighting conditions in real-time. Existing relighting
algorithms typically rely either on publicly available synthetic data, which
yields poor relighting results, or instead on Light Stage data which is
inaccessible and is not publicly available. We show that by casually capturing
video of a user watching YouTube videos on a monitor we can train a
personalized algorithm capable of producing high-quality relighting under any
condition. Our key contribution is a novel neural relighting architecture that
effectively separates the intrinsic appearance features, geometry and
reflectance, from the source lighting and then combines it with the target
lighting to generate a relit image. This neural architecture enables smoothing
of intrinsic appearance features leading to temporally stable video relighting.
Both qualitative and quantitative evaluations show that our relighting
architecture improves portrait image relighting quality and temporal
consistency over state-of-the-art approaches on both casually captured Light
Stage at Your Desk (LSYD) data and Light Stage captured One Light At a Time
(OLAT) datasets.
- Abstract(参考訳): 本稿では,リアルタイムなポーズ,表現,照明条件下で高品質かつ時間的に一貫した映像を生成するパーソナライズされたビデオリライティングアルゴリズムを開発する。
既存のリライトアルゴリズムは一般的に、公開可能な合成データに頼っているため、低照度結果が得られるか、アクセス不能で公開されていないライトステージデータに頼っている。
モニタでYouTubeビデオを見ているユーザのビデオをカジュアルにキャプチャすることで、任意の条件下で高品質なリライティングを生成できるパーソナライズされたアルゴリズムをトレーニングできることを示す。
我々の重要な貢献は、固有の外観特徴、幾何学、反射性を効果的に分離し、ターゲットの照明と組み合わせて、信頼された画像を生成する、新しい神経リライティングアーキテクチャである。
このニューラルアーキテクチャは、時間的に安定したビデオリライトにつながる固有の外観特徴の滑らか化を可能にする。
定性的かつ定量的な評価から,我々のリライトアーキテクチャは,机(lsyd)データのカジュアルにキャプチャされた光ステージと,一度に1つの光をキャプチャした光ステージの両方において,最先端のアプローチよりも,ポートレート画像のリライト品質と時間的一貫性を改善していることが示された。
関連論文リスト
- BVI-Lowlight: Fully Registered Benchmark Dataset for Low-Light Video
Enhancement [47.41699406259656]
本稿では,2つの低照度条件下での様々な動きシナリオにおける40のシーンからなる,新しい低照度映像データセットを提案する。
我々は、プログラム可能な電動ドリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供する。
画像ベースのポストプロセッシングによりそれらを洗練し、異なる光レベルにおけるフレームの画素ワイドアライメントを保証する。
論文 参考訳(メタデータ) (2024-02-03T00:40:22Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳(メタデータ) (2023-05-07T20:36:29Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳(メタデータ) (2022-09-21T17:15:58Z) - Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
論文 参考訳(メタデータ) (2022-05-19T06:44:37Z) - Low-light Image and Video Enhancement via Selective Manipulation of
Chromaticity [1.4680035572775534]
低照度画像と映像強調のための簡易かつ効果的なアプローチを提案する。
上述の適応性により、低照度画像分解による照明と反射率へのコストのかかるステップを回避できる。
標準の低照度画像データセットでは,いくつかの最先端技術に対して,アルゴリズムの有効性と質的,定量的な優位性を示す。
論文 参考訳(メタデータ) (2022-03-09T17:01:28Z) - Spatio-Temporal Outdoor Lighting Aggregation on Image Sequences using
Transformer Networks [23.6427456783115]
本研究は,画像からのノイズ推定を集約した屋外照明推定に焦点をあてる。
ディープニューラルネットワークに基づく最近の研究は、単一画像の照明推定に有望な結果を示しているが、堅牢性に悩まされている。
画像シーケンスの角領域と時間領域でサンプリングされた複数の画像ビューからの照明推定値を組み合わせることで、この問題に対処する。
論文 参考訳(メタデータ) (2022-02-18T14:11:16Z) - Neural Video Portrait Relighting in Real-time via Consistency Modeling [41.04622998356025]
本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。
エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。
また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
論文 参考訳(メタデータ) (2021-04-01T14:13:28Z) - Towards High Fidelity Monocular Face Reconstruction with Rich
Reflectance using Self-supervised Learning and Ray Tracing [49.759478460828504]
ディープニューラルネットワークエンコーダと異なるレンダリングを組み合わせた手法が、幾何学、照明、反射の非常に高速な単分子再構成の道を開いた。
古典的な最適化ベースのフレームワーク内での単眼顔再構築のためにレイトレースが導入されました。
一般シーンにおける復元品質と堅牢性を大幅に向上させる新しい手法を提案します。
論文 参考訳(メタデータ) (2021-03-29T08:58:10Z) - Relightable 3D Head Portraits from a Smartphone Video [15.639140551193073]
本稿では,人間の頭部の3D像を再現するシステムを提案する。
私たちのニューラルパイプラインは、スマートフォンのカメラがフラッシュ点滅で撮影したフレームのシーケンスで動作します。
ディープレンダリングネットワークは、任意の新しい視点のために密なアルベド、ノーマル、環境照明マップを後退させるように訓練される。
論文 参考訳(メタデータ) (2020-12-17T22:49:02Z) - Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。
本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。
我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
論文 参考訳(メタデータ) (2020-10-17T23:40:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。