論文の概要: Personalized Video Relighting With an At-Home Light Stage
- arxiv url: http://arxiv.org/abs/2311.08843v3
- Date: Tue, 5 Dec 2023 02:46:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 12:46:24.153399
- Title: Personalized Video Relighting With an At-Home Light Stage
- Title（参考訳）: ホームライトステージでパーソナライズされたビデオのリライティング
- Authors: Jun Myeong Choi, Max Christman, Roni Sengupta
- Abstract要約: 我々は,高品質で時間的に一貫した映像をリアルタイムに生成するパーソナライズされたビデオリライティングアルゴリズムを開発した。
モニタでYouTubeビデオを見ているユーザのビデオをキャプチャすることで、任意の条件下で高品質なリライティングを行うことのできるパーソナライズされたアルゴリズムをトレーニングできることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we develop a personalized video relighting algorithm that
produces high-quality and temporally consistent relit videos under any pose,
expression, and lighting condition in real-time. Existing relighting algorithms
typically rely either on publicly available synthetic data, which yields poor
relighting results, or instead on light stage data which is difficult to
obtain. We show that by just capturing video of a user watching YouTube videos
on a monitor we can train a personalized algorithm capable of performing
high-quality relighting under any condition. Our key contribution is a novel
neural relighting architecture that effectively separates the intrinsic
appearance features - the geometry and reflectance of the face - from the
source lighting and then combines them with the target lighting to generate a
relit image. This neural network architecture enables smoothing of intrinsic
appearance features leading to temporally stable video relighting. Both
qualitative and quantitative evaluations show that our architecture improves
portrait image relighting quality and temporal consistency over
state-of-the-art approaches on both casually captured `Light Stage at Your
Desk' (LSYD) and light-stage-captured `One Light At a Time' (OLAT) datasets.
- Abstract（参考訳）: 本稿では,任意のポーズ,表情,照明条件下で,高品質かつ時間的に一貫したリライト映像をリアルタイムに生成する,パーソナライズドビデオライティングアルゴリズムを開発した。
既存のリライトアルゴリズムは一般に一般に入手可能な合成データに依存しているため、リライト結果が乏しいか、取得が難しいライトステージデータに依存している。
モニタでyoutubeビデオを視聴しているユーザのビデオを撮れば、どんな状況でも高品質のライトアップができるパーソナライズされたアルゴリズムを訓練できる。
私たちの重要な貢献は、固有の外観特徴(顔の幾何学と反射)を光源の照明から効果的に分離し、ターゲットの照明と組み合わせて、信頼された画像を生成する、新しい神経リライティングアーキテクチャです。
このニューラルネットワークアーキテクチャは、時間的に安定したビデオリライトにつながる固有の外観特徴の平滑化を可能にする。
質的かつ定量的な評価から,我々のアーキテクチャは,カジュアルにキャプチャされたlsyd(light stage at your desk)とolat(light-captured 'one light at a time')データセットの両方において,最先端のアプローチによるポートレート画像のリライト品質と時間的一貫性を改善していることが示された。
関連論文リスト
- Lite2Relight: 3D-aware Single Image Portrait Relighting [87.62069509622226]
Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。
事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。
これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
論文 参考訳（メタデータ） (2024-07-15T07:16:11Z) - BVI-RLV: A Fully Registered Dataset and Benchmarks for Low-Light Video Enhancement [56.97766265018334]
本稿では,2つの異なる低照度条件下での様々な動きシナリオを持つ40のシーンからなる低照度映像データセットを提案する。
我々は、プログラム可能なモータードリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供し、異なる光レベルにわたるピクセルワイドフレームアライメントのための画像ベースアプローチによりそれを洗練する。
実験の結果,Low-light Video enhancement (LLVE) における完全登録ビデオペアの重要性が示された。
論文 参考訳（メタデータ） (2024-07-03T22:41:49Z) - BVI-Lowlight: Fully Registered Benchmark Dataset for Low-Light Video Enhancement [44.1973928137492]
本稿では,2つの低照度条件下での様々な動きシナリオにおける40のシーンからなる,新しい低照度映像データセットを提案する。
我々は、プログラム可能な電動ドリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供する。
画像ベースのポストプロセッシングによりそれらを洗練し、異なる光レベルにおけるフレームの画素ワイドアライメントを保証する。
論文 参考訳（メタデータ） (2024-02-03T00:40:22Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳（メタデータ） (2023-05-07T20:36:29Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T17:15:58Z) - Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
論文 参考訳（メタデータ） (2022-05-19T06:44:37Z) - Low-light Image and Video Enhancement via Selective Manipulation of
Chromaticity [1.4680035572775534]
低照度画像と映像強調のための簡易かつ効果的なアプローチを提案する。
上述の適応性により、低照度画像分解による照明と反射率へのコストのかかるステップを回避できる。
標準の低照度画像データセットでは,いくつかの最先端技術に対して,アルゴリズムの有効性と質的,定量的な優位性を示す。
論文 参考訳（メタデータ） (2022-03-09T17:01:28Z) - Spatio-Temporal Outdoor Lighting Aggregation on Image Sequences using
Transformer Networks [23.6427456783115]
本研究は,画像からのノイズ推定を集約した屋外照明推定に焦点をあてる。
ディープニューラルネットワークに基づく最近の研究は、単一画像の照明推定に有望な結果を示しているが、堅牢性に悩まされている。
画像シーケンスの角領域と時間領域でサンプリングされた複数の画像ビューからの照明推定値を組み合わせることで、この問題に対処する。
論文 参考訳（メタデータ） (2022-02-18T14:11:16Z) - Neural Video Portrait Relighting in Real-time via Consistency Modeling [41.04622998356025]
本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。
エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。
また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
論文 参考訳（メタデータ） (2021-04-01T14:13:28Z) - Relightable 3D Head Portraits from a Smartphone Video [15.639140551193073]
本稿では,人間の頭部の3D像を再現するシステムを提案する。
私たちのニューラルパイプラインは、スマートフォンのカメラがフラッシュ点滅で撮影したフレームのシーケンスで動作します。
ディープレンダリングネットワークは、任意の新しい視点のために密なアルベド、ノーマル、環境照明マップを後退させるように訓練される。
論文 参考訳（メタデータ） (2020-12-17T22:49:02Z) - Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。
本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。
我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
論文 参考訳（メタデータ） (2020-10-17T23:40:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。