論文の概要: Neural Video Portrait Relighting in Real-time via Consistency Modeling
- arxiv url: http://arxiv.org/abs/2104.00484v1
- Date: Thu, 1 Apr 2021 14:13:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-02 13:25:47.088296
- Title: Neural Video Portrait Relighting in Real-time via Consistency Modeling
- Title(参考訳): 一貫性モデリングによるリアルタイムでのニューラルビデオポートレートリライティング
- Authors: Longwen Zhang, Qixuan Zhang, Minye Wu, Jingyi Yu, Lan Xu
- Abstract要約: 本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。
エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。
また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
- 参考スコア(独自算出の注目度): 41.04622998356025
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Video portraits relighting is critical in user-facing human photography,
especially for immersive VR/AR experience. Recent advances still fail to
recover consistent relit result under dynamic illuminations from monocular RGB
stream, suffering from the lack of video consistency supervision. In this
paper, we propose a neural approach for real-time, high-quality and coherent
video portrait relighting, which jointly models the semantic, temporal and
lighting consistency using a new dynamic OLAT dataset. We propose a hybrid
structure and lighting disentanglement in an encoder-decoder architecture,
which combines a multi-task and adversarial training strategy for
semantic-aware consistency modeling. We adopt a temporal modeling scheme via
flow-based supervision to encode the conjugated temporal consistency in a cross
manner. We also propose a lighting sampling strategy to model the illumination
consistency and mutation for natural portrait light manipulation in real-world.
Extensive experiments demonstrate the effectiveness of our approach for
consistent video portrait light-editing and relighting, even using mobile
computing.
- Abstract(参考訳): ビデオのポートレートリライティングは、ユーザーの顔写真、特に没入型VR/AR体験に不可欠だ。
近年の進歩は、ビデオの整合性管理の欠如に悩まされ、単分子RGBストリームからの動的照度による一貫した信頼性の回復には至っていない。
本稿では,新しい動的olatデータセットを用いて意味的,時間的,照明的一貫性を協調的にモデル化する,リアルタイム,高品質,コヒーレントな映像ポートレートライトライティングのためのニューラルアプローチを提案する。
本稿では,マルチタスクと対向的な学習戦略を組み合わせるエンコーダ・デコーダアーキテクチャにおける,意味・認識一貫性モデリングのためのハイブリッド構造と照明絡み合いを提案する。
本研究では,フローベース制御による時間的モデリング手法を採用し,共役時間的一貫性を横断的に符号化する。
また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
広範にわたる実験により, モバイル・コンピューティングを用いても, コンテンシブ・ビデオ・ポートレートの光編集, ライトライティングへのアプローチの有効性が実証された。
関連論文リスト
- URHand: Universal Relightable Hands [64.25893653236912]
URHandは、視点、ポーズ、イルミネーション、アイデンティティを一般化する最初の普遍的照らし手モデルである。
本モデルでは,携帯電話で撮影した画像によるパーソナライズが可能であり,新たな照明下でのフォトリアリスティックなレンダリングが可能である。
論文 参考訳(メタデータ) (2024-01-10T18:59:51Z) - Relightful Harmonization: Lighting-aware Portrait Background Replacement [24.19548598390059]
背景画像を用いた背景像に対する高度な照明効果をシームレスに調和させるライティング対応拡散モデルであるRelightful Harmonizationを導入する。
まず、拡散モデルを用いて、対象画像の背景から照明情報をエンコードする照明表現モジュールを導入する。
第2に、画像背景から学習した照明特徴と、パノラマ環境マップから学習した照明特徴とを整列するアライメントネットワークを導入する。
論文 参考訳(メタデータ) (2023-12-11T23:20:31Z) - Personalized Video Relighting With an At-Home Light Stage [0.0]
我々は,高品質で時間的に一貫した映像をリアルタイムに生成するパーソナライズされたビデオリライティングアルゴリズムを開発した。
モニタでYouTubeビデオを見ているユーザのビデオをキャプチャすることで、任意の条件下で高品質なリライティングを行うことのできるパーソナライズされたアルゴリズムをトレーニングできることを示す。
論文 参考訳(メタデータ) (2023-11-15T10:33:20Z) - NAI$_2$: Learning Noise-Aware Illuminance-Interpolator for Unsupervised
Low-Light Image Enhancement [60.16518200243248]
低照度の状況は、消費者写真における美的品質の追求を厳しく制限する。
照明補償の本質的な物理原理を探求する方法は無視されている。
本稿では, シンプルで効率的なノイズ対応イルミネーション補間器を提案する。
論文 参考訳(メタデータ) (2023-05-17T13:56:48Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳(メタデータ) (2023-05-07T20:36:29Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳(メタデータ) (2023-03-27T09:43:42Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳(メタデータ) (2022-09-21T17:15:58Z) - Spatially and color consistent environment lighting estimation using
deep neural networks for mixed reality [1.1470070927586016]
本稿では,複合現実環境における複雑な照明を推定するためのCNNモデルを提案する。
我々は,RGB画像を入力し,環境照明をリアルタイムで認識する新しいCNNアーキテクチャを提案する。
CNNアーキテクチャは,SH照明係数を比較する際に,平均2乗誤差(MSE)をnum7.85e-04の平均2乗誤差(MSE)で予測できることを示す。
論文 参考訳(メタデータ) (2021-08-17T23:03:55Z) - Learning Illumination from Diverse Portraits [8.90355885907736]
我々は,地中環境照明と組み合わせたポートレート写真を用いて,我々のモデルを訓練する。
我々は、光ステージを用いて、70種類の被験者の反射場とアルファマットを記録することにより、リッチな写真を生成する。
本手法は,ポートレートベース照明推定における最先端技術よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-08-05T23:41:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。