論文の概要: ScribbleLight: Single Image Indoor Relighting with Scribbles

• arxiv url: http://arxiv.org/abs/2411.17696v1
• Date: Tue, 26 Nov 2024 18:59:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:34:35.621395
• Title: ScribbleLight: Single Image Indoor Relighting with Scribbles
• Title（参考訳）: ScribbleLight: シングルイメージの室内リライティング
• Authors: Jun Myeong Choi, Annie Wang, Pieter Peers, Anand Bhattad, Roni Sengupta,
• Abstract要約: 本稿では,スクリブルによる照明効果の局所的きめ細かい制御を支援する生成モデルであるScribbleLightを紹介する。 我々の重要な技術的新奇性はアルベド条件の安定な画像拡散モデルであり、リライティング後の原画像の本質的な色とテクスチャを保存します。 我々は、スパース・スクリブルアノテーションから異なる照明効果(例えば、ライトのオン/オフ、ハイライトの追加、キャストシャドウ、または間接的なライト)を作成するScribbleLightの能力を実証する。
• 参考スコア（独自算出の注目度）: 3.6902409965263474
• License:
• Abstract: Image-based relighting of indoor rooms creates an immersive virtual understanding of the space, which is useful for interior design, virtual staging, and real estate. Relighting indoor rooms from a single image is especially challenging due to complex illumination interactions between multiple lights and cluttered objects featuring a large variety in geometrical and material complexity. Recently, generative models have been successfully applied to image-based relighting conditioned on a target image or a latent code, albeit without detailed local lighting control. In this paper, we introduce ScribbleLight, a generative model that supports local fine-grained control of lighting effects through scribbles that describe changes in lighting. Our key technical novelty is an Albedo-conditioned Stable Image Diffusion model that preserves the intrinsic color and texture of the original image after relighting and an encoder-decoder-based ControlNet architecture that enables geometry-preserving lighting effects with normal map and scribble annotations. We demonstrate ScribbleLight's ability to create different lighting effects (e.g., turning lights on/off, adding highlights, cast shadows, or indirect lighting from unseen lights) from sparse scribble annotations.
• Abstract（参考訳）: 室内の部屋のイメージに基づくリライティングは、空間の没入的な仮想理解を生み出し、インテリアデザイン、仮想ステージング、不動産に有用である。 一つの画像から室内の部屋を照らすのは、複数の照明と、幾何学的・物質的複雑さの多様さを特徴とする散らかった物体との複雑な照明相互作用のため、特に困難である。 近年, 局所照明制御を詳細に行なわずに, 対象画像や潜伏コード上に設定された画像ベースの照明条件に対して, 生成モデルの適用が成功している。 本稿では,スクリブルによる照明効果の局所的きめ細かい制御を支援する生成モデルであるScribbleLightを紹介する。 我々の重要な技術的特徴は、リライト後の原画像の固有色とテクスチャを保存するアルベド条件の安定画像拡散モデルと、通常の地図とスクリブルアノテーションによる幾何学保存照明効果を可能にするエンコーダデコーダベースのコントロールネットアーキテクチャである。 私たちは、スパース・スクリブルアノテーションから異なる照明効果(例えば、ライトをオン/オフ、ハイライトの追加、キャストシャドウ、または間接的なライト)を作成できるScribbleLightの能力を実証しています。

関連論文リスト

• LumiNet: Latent Intrinsics Meets Diffusion Models for Indoor Scene Relighting [13.433775723052753]
  ソースイメージとターゲットのライティングイメージが与えられた後、LumiNetはターゲットのライティングをキャプチャするソースシーンの依存バージョンを合成する。 LumiNetは2つの異なる画像から遅延表現を処理します。
  論文  参考訳（メタデータ） (2024-11-29T18:59:11Z)
• DifFRelight: Diffusion-Based Facial Performance Relighting [12.909429637057343]
  拡散に基づく画像から画像への変換を用いた,自由視点顔の表情のリライティングのための新しいフレームワークを提案する。 我々は、正確な照明制御のための拡散モデルを訓練し、フラットライト入力からの顔画像の高忠実度化を可能にする。 このモデルは、目の反射、地表面散乱、自影、半透明といった複雑な照明効果を正確に再現する。
  論文  参考訳（メタデータ） (2024-10-10T17:56:44Z)
• Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering [56.68286440268329]
  現実世界のシーンの画像に仮想オブジェクトを正しく挿入するには、シーンの照明、幾何学、材料を深く理解する必要がある。 本稿では,物理ベースの逆レンダリングプロセスへのガイダンスとして,パーソナライズされた大規模拡散モデルを提案する。 本手法は,シーンライティングとトーンマッピングのパラメータを復元し,任意の仮想オブジェクトの光リアルな構成を室内や屋外のシーンの単一フレームやビデオで再現する。
  論文  参考訳（メタデータ） (2024-08-19T05:15:45Z)
• LightIt: Illumination Modeling and Control for Diffusion Models [61.80461416451116]
  我々は、画像生成のための明示的な照明制御方法であるLightItを紹介する。 最近の生成法では照明制御が欠如しており、画像生成の多くの芸術的側面に不可欠である。 本手法は、制御可能で一貫した照明による画像生成を可能にする最初の方法である。
  論文  参考訳（メタデータ） (2024-03-15T18:26:33Z)
• Personalized Video Relighting With an At-Home Light Stage [0.0]
  我々は,高品質で時間的に一貫した映像をリアルタイムに生成するパーソナライズされたビデオリライティングアルゴリズムを開発した。 モニタでYouTubeビデオを見ているユーザの録画をキャプチャすることで、任意の条件下で高品質なリライティングを行うことのできるパーソナライズされたアルゴリズムをトレーニングできることを示す。
  論文  参考訳（メタデータ） (2023-11-15T10:33:20Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• WildLight: In-the-wild Inverse Rendering with a Flashlight [77.31815397135381]
  本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。 本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。 提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-24T17:59:56Z)
• LightPainter: Interactive Portrait Relighting with Freehand Scribble [79.95574780974103]
  我々は、スクリブルベースのライティングシステムであるLightPainterを導入し、ユーザーが簡単にポートレート照明効果を操作できるようにする。 リライトモジュールをトレーニングするために,実際のユーザスクリブルを模倣する新しいスクリブルシミュレーション手法を提案する。 定量的および定性的な実験により,高品質でフレキシブルなポートレート照明編集機能を示す。
  論文  参考訳（メタデータ） (2023-03-22T23:17:11Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• Towards Geometry Guided Neural Relighting with Flash Photography [26.511476565209026]
  本稿では,深層学習を用いた深度マップを用いた1枚のフラッシュ写真から画像のリライティングを行うフレームワークを提案する。 本研究は,本質的な画像分解と画像リライティングにおける最先端の画像ベースアプローチに対する幾何学的アプローチの利点を実験的に検証する。
  論文  参考訳（メタデータ） (2020-08-12T08:03:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。