論文の概要: LightPainter: Interactive Portrait Relighting with Freehand Scribble

• arxiv url: http://arxiv.org/abs/2303.12950v1
• Date: Wed, 22 Mar 2023 23:17:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 16:20:17.620790
• Title: LightPainter: Interactive Portrait Relighting with Freehand Scribble
• Title（参考訳）: LightPainter:フリーハンドによるインタラクティブなポートレートライティング
• Authors: Yiqun Mei, He Zhang, Xuaner Zhang, Jianming Zhang, Zhixin Shu, Yilin Wang, Zijun Wei, Shi Yan, HyunJoon Jung, Vishal M. Patel
• Abstract要約: 我々は、スクリブルベースのライティングシステムであるLightPainterを導入し、ユーザーが簡単にポートレート照明効果を操作できるようにする。 リライトモジュールをトレーニングするために,実際のユーザスクリブルを模倣する新しいスクリブルシミュレーション手法を提案する。 定量的および定性的な実験により,高品質でフレキシブルなポートレート照明編集機能を示す。
• 参考スコア（独自算出の注目度）: 79.95574780974103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent portrait relighting methods have achieved realistic results of portrait lighting effects given a desired lighting representation such as an environment map. However, these methods are not intuitive for user interaction and lack precise lighting control. We introduce LightPainter, a scribble-based relighting system that allows users to interactively manipulate portrait lighting effect with ease. This is achieved by two conditional neural networks, a delighting module that recovers geometry and albedo optionally conditioned on skin tone, and a scribble-based module for relighting. To train the relighting module, we propose a novel scribble simulation procedure to mimic real user scribbles, which allows our pipeline to be trained without any human annotations. We demonstrate high-quality and flexible portrait lighting editing capability with both quantitative and qualitative experiments. User study comparisons with commercial lighting editing tools also demonstrate consistent user preference for our method.
• Abstract（参考訳）: 近年,環境地図などの所望の照明表現により,ポートレート照明効果の現実的な結果が得られている。 しかし、これらの手法はユーザインタラクションには直感的ではなく、正確な照明制御を欠いている。 我々は、スクリブルベースのライティングシステムであるLightPainterを導入し、ユーザーが簡単にポートレート照明効果を操作できるようにする。 これは、2つの条件付きニューラルネットワーク、幾何とアルベドを任意に肌のトーンに調整する喜びモジュール、およびリライトのためのスクリブルベースのモジュールによって実現される。 relightingモジュールをトレーニングするために、私たちは実際のユーザースクリブルを模倣する新しいスクリブルシミュレーション手順を提案しました。 定量的および定性的な実験により,高品質でフレキシブルなポートレート照明編集機能を示す。 商用照明編集ツールとのユーザスタディ比較も,本手法に対する一貫したユーザ嗜好を示す。

関連論文リスト

• SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces [16.65498750779018]
  ポートレートライティングのための拡散モデルであるSynthLightを紹介する。 本手法では,環境照明条件の変化に応じて画素を変換する再レンダリング問題として,画像のリライティングを行う。 我々は、この照明条件の変換を、様々な照明の下で3Dヘッドアセットでシミュレートするデータセットを合成する。
  論文  参考訳（メタデータ） (2025-01-16T18:59:48Z)
• Materialist: Physically Based Editing Using Single-Image Inverse Rendering [50.39048790589746]
  本稿では、学習に基づくアプローチとプログレッシブな微分可能レンダリングを組み合わせた手法を提案する。 提案手法は,より現実的な光物質相互作用,正確な影,大域的な照明を実現する。 また,全シーン形状を必要とせず,効果的に機能する材料透過性編集手法を提案する。
  論文  参考訳（メタデータ） (2025-01-07T11:52:01Z)
• SpotLight: Shadow-Guided Object Relighting via Diffusion [13.187597686309225]
  オブジェクトの所望の影を指定するだけで、オブジェクトの照準を正確に制御できることを示す。 我々の手法であるSpotLightは、既存のニューラルレンダリングアプローチと制御可能なリライト結果を活用する。
  論文  参考訳（メタデータ） (2024-11-27T16:06:08Z)
• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• EverLight: Indoor-Outdoor Editable HDR Lighting Estimation [9.443561684223514]
  本稿では、パラメトリック光モデルと360degパノラマを組み合わせ、レンダリングエンジンでHDRIとして使用できる手法を提案する。 我々の表現では、ユーザは光の方向、強度、数などを簡単に編集してシェーディングに影響を与えながら、リッチで複雑なリフレクションを提供しながら、編集とシームレスにブレンドすることができる。
  論文  参考訳（メタデータ） (2023-04-26T00:20:59Z)
• WildLight: In-the-wild Inverse Rendering with a Flashlight [77.31815397135381]
  本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。 本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。 提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-24T17:59:56Z)
• Editable Indoor Lighting Estimation [6.531546527140474]
  編集が容易で、影の強いレンダリングが可能なパラメトリック光を推定するパイプラインを提案する。 提案手法は,室内照明推定をカジュアルな利用者が容易に扱えるようにし,競争力のある結果が得られることを示した。
  論文  参考訳（メタデータ） (2022-11-08T00:58:29Z)
• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。