論文の概要: Neural Video Portrait Relighting in Real-time via Consistency Modeling

• arxiv url: http://arxiv.org/abs/2104.00484v1
• Date: Thu, 1 Apr 2021 14:13:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 13:25:47.088296
• Title: Neural Video Portrait Relighting in Real-time via Consistency Modeling
• Title（参考訳）: 一貫性モデリングによるリアルタイムでのニューラルビデオポートレートリライティング
• Authors: Longwen Zhang, Qixuan Zhang, Minye Wu, Jingyi Yu, Lan Xu
• Abstract要約: 本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。 エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。 また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
• 参考スコア（独自算出の注目度）: 41.04622998356025
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Video portraits relighting is critical in user-facing human photography, especially for immersive VR/AR experience. Recent advances still fail to recover consistent relit result under dynamic illuminations from monocular RGB stream, suffering from the lack of video consistency supervision. In this paper, we propose a neural approach for real-time, high-quality and coherent video portrait relighting, which jointly models the semantic, temporal and lighting consistency using a new dynamic OLAT dataset. We propose a hybrid structure and lighting disentanglement in an encoder-decoder architecture, which combines a multi-task and adversarial training strategy for semantic-aware consistency modeling. We adopt a temporal modeling scheme via flow-based supervision to encode the conjugated temporal consistency in a cross manner. We also propose a lighting sampling strategy to model the illumination consistency and mutation for natural portrait light manipulation in real-world. Extensive experiments demonstrate the effectiveness of our approach for consistent video portrait light-editing and relighting, even using mobile computing.
• Abstract（参考訳）: ビデオのポートレートリライティングは、ユーザーの顔写真、特に没入型VR/AR体験に不可欠だ。 近年の進歩は、ビデオの整合性管理の欠如に悩まされ、単分子RGBストリームからの動的照度による一貫した信頼性の回復には至っていない。 本稿では,新しい動的olatデータセットを用いて意味的,時間的,照明的一貫性を協調的にモデル化する,リアルタイム,高品質,コヒーレントな映像ポートレートライトライティングのためのニューラルアプローチを提案する。 本稿では,マルチタスクと対向的な学習戦略を組み合わせるエンコーダ・デコーダアーキテクチャにおける,意味・認識一貫性モデリングのためのハイブリッド構造と照明絡み合いを提案する。 本研究では,フローベース制御による時間的モデリング手法を採用し,共役時間的一貫性を横断的に符号化する。 また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。 広範にわたる実験により, モバイル・コンピューティングを用いても, コンテンシブ・ビデオ・ポートレートの光編集, ライトライティングへのアプローチの有効性が実証された。

関連論文リスト

• DifFRelight: Diffusion-Based Facial Performance Relighting [12.909429637057343]
  拡散に基づく画像から画像への変換を用いた,自由視点顔の表情のリライティングのための新しいフレームワークを提案する。 我々は、正確な照明制御のための拡散モデルを訓練し、フラットライト入力からの顔画像の高忠実度化を可能にする。 このモデルは、目の反射、地表面散乱、自影、半透明といった複雑な照明効果を正確に再現する。
  論文  参考訳（メタデータ） (2024-10-10T17:56:44Z)
• Low-Light Video Enhancement via Spatial-Temporal Consistent Illumination and Reflection Decomposition [68.6707284662443]
  低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的および静的なシーンの復元を目指している。 1つの重要な側面は、時間空間照明と外観強化バージョンに特化した一貫性の制約を定式化することである。 本稿では,レチネックスを基盤とした革新的なビデオ分解戦略について述べる。
  論文  参考訳（メタデータ） (2024-05-24T15:56:40Z)
• URHand: Universal Relightable Hands [64.25893653236912]
  URHandは、視点、ポーズ、イルミネーション、アイデンティティを一般化する最初の普遍的照らし手モデルである。 本モデルでは,携帯電話で撮影した画像によるパーソナライズが可能であり,新たな照明下でのフォトリアリスティックなレンダリングが可能である。
  論文  参考訳（メタデータ） (2024-01-10T18:59:51Z)
• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• Personalized Video Relighting With an At-Home Light Stage [0.0]
  我々は,高品質で時間的に一貫した映像をリアルタイムに生成するパーソナライズされたビデオリライティングアルゴリズムを開発した。 モニタでYouTubeビデオを見ているユーザの録画をキャプチャすることで、任意の条件下で高品質なリライティングを行うことのできるパーソナライズされたアルゴリズムをトレーニングできることを示す。
  論文  参考訳（メタデータ） (2023-11-15T10:33:20Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• Joint Video Multi-Frame Interpolation and Deblurring under Unknown Exposure Time [101.91824315554682]
  本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。 我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。 次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
  論文  参考訳（メタデータ） (2023-03-27T09:43:42Z)
• Learning Illumination from Diverse Portraits [8.90355885907736]
  我々は,地中環境照明と組み合わせたポートレート写真を用いて,我々のモデルを訓練する。 我々は、光ステージを用いて、70種類の被験者の反射場とアルファマットを記録することにより、リッチな写真を生成する。 本手法は,ポートレートベース照明推定における最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-05T23:41:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。