論文の概要: Personalized Video Relighting With an At-Home Light Stage
- arxiv url: http://arxiv.org/abs/2311.08843v3
- Date: Tue, 5 Dec 2023 02:46:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 12:46:24.153399
- Title: Personalized Video Relighting With an At-Home Light Stage
- Title（参考訳）: ホームライトステージでパーソナライズされたビデオのリライティング
- Authors: Jun Myeong Choi, Max Christman, Roni Sengupta
- Abstract要約: 我々は,高品質で時間的に一貫した映像をリアルタイムに生成するパーソナライズされたビデオリライティングアルゴリズムを開発した。
モニタでYouTubeビデオを見ているユーザのビデオをキャプチャすることで、任意の条件下で高品質なリライティングを行うことのできるパーソナライズされたアルゴリズムをトレーニングできることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we develop a personalized video relighting algorithm that
produces high-quality and temporally consistent relit videos under any pose,
expression, and lighting condition in real-time. Existing relighting algorithms
typically rely either on publicly available synthetic data, which yields poor
relighting results, or instead on light stage data which is difficult to
obtain. We show that by just capturing video of a user watching YouTube videos
on a monitor we can train a personalized algorithm capable of performing
high-quality relighting under any condition. Our key contribution is a novel
neural relighting architecture that effectively separates the intrinsic
appearance features - the geometry and reflectance of the face - from the
source lighting and then combines them with the target lighting to generate a
relit image. This neural network architecture enables smoothing of intrinsic
appearance features leading to temporally stable video relighting. Both
qualitative and quantitative evaluations show that our architecture improves
portrait image relighting quality and temporal consistency over
state-of-the-art approaches on both casually captured `Light Stage at Your
Desk' (LSYD) and light-stage-captured `One Light At a Time' (OLAT) datasets.
- Abstract（参考訳）: 本稿では,任意のポーズ,表情,照明条件下で,高品質かつ時間的に一貫したリライト映像をリアルタイムに生成する,パーソナライズドビデオライティングアルゴリズムを開発した。
既存のリライトアルゴリズムは一般に一般に入手可能な合成データに依存しているため、リライト結果が乏しいか、取得が難しいライトステージデータに依存している。
モニタでyoutubeビデオを視聴しているユーザのビデオを撮れば、どんな状況でも高品質のライトアップができるパーソナライズされたアルゴリズムを訓練できる。
私たちの重要な貢献は、固有の外観特徴(顔の幾何学と反射)を光源の照明から効果的に分離し、ターゲットの照明と組み合わせて、信頼された画像を生成する、新しい神経リライティングアーキテクチャです。
このニューラルネットワークアーキテクチャは、時間的に安定したビデオリライトにつながる固有の外観特徴の平滑化を可能にする。
質的かつ定量的な評価から,我々のアーキテクチャは,カジュアルにキャプチャされたlsyd(light stage at your desk)とolat(light-captured 'one light at a time')データセットの両方において,最先端のアプローチによるポートレート画像のリライト品質と時間的一貫性を改善していることが示された。
関連論文リスト
- LumiSculpt: A Consistency Lighting Control Network for Video Generation [67.48791242688493]
ライティングは、ビデオ生成の自然性を保証する上で重要な役割を果たす。
独立的でコヒーレントな照明特性を分離し、モデル化することは依然として困難である。
LumiSculptは、T2V生成モデルにおける正確で一貫した照明制御を可能にする。
論文 参考訳（メタデータ） (2024-10-30T12:44:08Z) - Real-time 3D-aware Portrait Video Relighting [89.41078798641732]
ニューラル・ラジアンス・フィールド(NeRF)を応用した3次元映像の映像再生のための3D認識方式を提案する。
我々は、高速なデュアルエンコーダを備えたビデオフレーム毎に所望の照明条件に基づいて、アルベド三面体とシェーディング三面体を推定する。
本手法は, 消費者レベルのハードウェア上で32.98fpsで動作し, 再現性, 照明誤差, 照明不安定性, 時間的整合性, 推論速度の両面から最新の結果が得られる。
論文 参考訳（メタデータ） (2024-10-24T01:34:11Z) - BVI-RLV: A Fully Registered Dataset and Benchmarks for Low-Light Video Enhancement [56.97766265018334]
本稿では,2つの異なる低照度条件下での様々な動きシナリオを持つ40のシーンからなる低照度映像データセットを提案する。
我々は、プログラム可能なモータードリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供し、異なる光レベルにわたるピクセルワイドフレームアライメントのための画像ベースアプローチによりそれを洗練する。
実験の結果,Low-light Video enhancement (LLVE) における完全登録ビデオペアの重要性が示された。
論文 参考訳（メタデータ） (2024-07-03T22:41:49Z) - BVI-Lowlight: Fully Registered Benchmark Dataset for Low-Light Video Enhancement [44.1973928137492]
本稿では,2つの低照度条件下での様々な動きシナリオにおける40のシーンからなる,新しい低照度映像データセットを提案する。
我々は、プログラム可能な電動ドリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供する。
画像ベースのポストプロセッシングによりそれらを洗練し、異なる光レベルにおけるフレームの画素ワイドアライメントを保証する。
論文 参考訳（メタデータ） (2024-02-03T00:40:22Z) - Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。
トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。
実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
論文 参考訳（メタデータ） (2023-12-18T14:30:13Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳（メタデータ） (2023-05-07T20:36:29Z) - RelightableHands: Efficient Neural Relighting of Articulated Hand Models [46.60594572471557]
我々は、新しい照明下でリアルタイムにアニメーションできる高忠実度パーソナライズドハンドをレンダリングするための、最初のニューラルリライティング手法を提案する。
本手法では,教師が1点当たりの外観を,ライトステージで撮影した画像から学習する。
教師モデルによって表現されたイメージをトレーニングデータとして利用することにより,学生モデルは自然照度下での外観を直接リアルタイムで予測する。
論文 参考訳（メタデータ） (2023-02-09T18:59:48Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T17:15:58Z) - Low-light Image and Video Enhancement via Selective Manipulation of
Chromaticity [1.4680035572775534]
低照度画像と映像強調のための簡易かつ効果的なアプローチを提案する。
上述の適応性により、低照度画像分解による照明と反射率へのコストのかかるステップを回避できる。
標準の低照度画像データセットでは,いくつかの最先端技術に対して,アルゴリズムの有効性と質的,定量的な優位性を示す。
論文 参考訳（メタデータ） (2022-03-09T17:01:28Z) - Spatio-Temporal Outdoor Lighting Aggregation on Image Sequences using
Transformer Networks [23.6427456783115]
本研究は,画像からのノイズ推定を集約した屋外照明推定に焦点をあてる。
ディープニューラルネットワークに基づく最近の研究は、単一画像の照明推定に有望な結果を示しているが、堅牢性に悩まされている。
画像シーケンスの角領域と時間領域でサンプリングされた複数の画像ビューからの照明推定値を組み合わせることで、この問題に対処する。
論文 参考訳（メタデータ） (2022-02-18T14:11:16Z) - Neural Video Portrait Relighting in Real-time via Consistency Modeling [41.04622998356025]
本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。
エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。
また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
論文 参考訳（メタデータ） (2021-04-01T14:13:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。