論文の概要: LightPainter: Interactive Portrait Relighting with Freehand Scribble

• arxiv url: http://arxiv.org/abs/2303.12950v1
• Date: Wed, 22 Mar 2023 23:17:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 16:20:17.620790
• Title: LightPainter: Interactive Portrait Relighting with Freehand Scribble
• Title（参考訳）: LightPainter:フリーハンドによるインタラクティブなポートレートライティング
• Authors: Yiqun Mei, He Zhang, Xuaner Zhang, Jianming Zhang, Zhixin Shu, Yilin Wang, Zijun Wei, Shi Yan, HyunJoon Jung, Vishal M. Patel
• Abstract要約: 我々は、スクリブルベースのライティングシステムであるLightPainterを導入し、ユーザーが簡単にポートレート照明効果を操作できるようにする。 リライトモジュールをトレーニングするために,実際のユーザスクリブルを模倣する新しいスクリブルシミュレーション手法を提案する。 定量的および定性的な実験により,高品質でフレキシブルなポートレート照明編集機能を示す。
• 参考スコア（独自算出の注目度）: 79.95574780974103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent portrait relighting methods have achieved realistic results of portrait lighting effects given a desired lighting representation such as an environment map. However, these methods are not intuitive for user interaction and lack precise lighting control. We introduce LightPainter, a scribble-based relighting system that allows users to interactively manipulate portrait lighting effect with ease. This is achieved by two conditional neural networks, a delighting module that recovers geometry and albedo optionally conditioned on skin tone, and a scribble-based module for relighting. To train the relighting module, we propose a novel scribble simulation procedure to mimic real user scribbles, which allows our pipeline to be trained without any human annotations. We demonstrate high-quality and flexible portrait lighting editing capability with both quantitative and qualitative experiments. User study comparisons with commercial lighting editing tools also demonstrate consistent user preference for our method.
• Abstract（参考訳）: 近年,環境地図などの所望の照明表現により,ポートレート照明効果の現実的な結果が得られている。 しかし、これらの手法はユーザインタラクションには直感的ではなく、正確な照明制御を欠いている。 我々は、スクリブルベースのライティングシステムであるLightPainterを導入し、ユーザーが簡単にポートレート照明効果を操作できるようにする。 これは、2つの条件付きニューラルネットワーク、幾何とアルベドを任意に肌のトーンに調整する喜びモジュール、およびリライトのためのスクリブルベースのモジュールによって実現される。 relightingモジュールをトレーニングするために、私たちは実際のユーザースクリブルを模倣する新しいスクリブルシミュレーション手順を提案しました。 定量的および定性的な実験により,高品質でフレキシブルなポートレート照明編集機能を示す。 商用照明編集ツールとのユーザスタディ比較も,本手法に対する一貫したユーザ嗜好を示す。

関連論文リスト

• ScribbleLight: Single Image Indoor Relighting with Scribbles [3.6902409965263474]
  本稿では,スクリブルによる照明効果の局所的きめ細かい制御を支援する生成モデルであるScribbleLightを紹介する。 我々の重要な技術的新奇性はアルベド条件の安定な画像拡散モデルであり、リライティング後の原画像の本質的な色とテクスチャを保存します。 我々は、スパース・スクリブルアノテーションから異なる照明効果(例えば、ライトのオン/オフ、ハイライトの追加、キャストシャドウ、または間接的なライト)を作成するScribbleLightの能力を実証する。
  論文  参考訳（メタデータ） (2024-11-26T18:59:11Z)
• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• EverLight: Indoor-Outdoor Editable HDR Lighting Estimation [9.443561684223514]
  本稿では、パラメトリック光モデルと360degパノラマを組み合わせ、レンダリングエンジンでHDRIとして使用できる手法を提案する。 我々の表現では、ユーザは光の方向、強度、数などを簡単に編集してシェーディングに影響を与えながら、リッチで複雑なリフレクションを提供しながら、編集とシームレスにブレンドすることができる。
  論文  参考訳（メタデータ） (2023-04-26T00:20:59Z)
• WildLight: In-the-wild Inverse Rendering with a Flashlight [77.31815397135381]
  本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。 本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。 提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-24T17:59:56Z)
• Editable Indoor Lighting Estimation [6.531546527140474]
  編集が容易で、影の強いレンダリングが可能なパラメトリック光を推定するパイプラインを提案する。 提案手法は,室内照明推定をカジュアルな利用者が容易に扱えるようにし,競争力のある結果が得られることを示した。
  論文  参考訳（メタデータ） (2022-11-08T00:58:29Z)
• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Hierarchical Vectorization for Portrait Images [12.32304366243904]
  本稿では,画像を自動的に3階層の階層表現に変換するベクトル化手法を提案する。 基層は、鮮やかな幾何学的特徴と低周波色を特徴付けるスパース拡散曲線からなる。 中層は、仕様のハイライトと影を大きく編集可能なポアソン領域(PR)にエンコードし、ユーザーは直接照明を調整できる。 トップレベルには、高周波残基のための2種類のピクセルサイズのPRと、ピンプや色素化などの細部が含まれている。
  論文  参考訳（メタデータ） (2022-05-24T07:58:41Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。