論文の概要: SpotLight: Shadow-Guided Object Relighting via Diffusion

• arxiv url: http://arxiv.org/abs/2411.18665v1
• Date: Wed, 27 Nov 2024 16:06:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:19:13.046318
• Title: SpotLight: Shadow-Guided Object Relighting via Diffusion
• Title（参考訳）: SpotLight: 拡散によるシャドウガイドオブジェクトのリライト
• Authors: Frédéric Fortier-Chouinard, Zitian Zhang, Louis-Etienne Messier, Mathieu Garon, Anand Bhattad, Jean-François Lalonde,
• Abstract要約: オブジェクトの所望の影を指定するだけで、オブジェクトの照準を正確に制御できることを示す。 我々の手法であるSpotLightは、既存のニューラルレンダリングアプローチと制御可能なリライト結果を活用する。
• 参考スコア（独自算出の注目度）: 13.187597686309225
• License:
• Abstract: Recent work has shown that diffusion models can be used as powerful neural rendering engines that can be leveraged for inserting virtual objects into images. Unlike typical physics-based renderers, however, neural rendering engines are limited by the lack of manual control over the lighting setup, which is often essential for improving or personalizing the desired image outcome. In this paper, we show that precise lighting control can be achieved for object relighting simply by specifying the desired shadows of the object. Rather surprisingly, we show that injecting only the shadow of the object into a pre-trained diffusion-based neural renderer enables it to accurately shade the object according to the desired light position, while properly harmonizing the object (and its shadow) within the target background image. Our method, SpotLight, leverages existing neural rendering approaches and achieves controllable relighting results with no additional training. Specifically, we demonstrate its use with two neural renderers from the recent literature. We show that SpotLight achieves superior object compositing results, both quantitatively and perceptually, as confirmed by a user study, outperforming existing diffusion-based models specifically designed for relighting.
• Abstract（参考訳）: 最近の研究によると、拡散モデルは画像に仮想オブジェクトを挿入するために活用できる強力なニューラルネットワークレンダリングエンジンとして利用できる。 しかし、一般的な物理ベースのレンダラーとは異なり、ニューラルレンダリングエンジンは照明装置のマニュアル制御が欠如しているため、望まれる画像結果の改善やパーソナライズに不可欠なものが多い。 本稿では,オブジェクトの所望の影を特定するだけで,オブジェクトの照準を正確に制御できることを示す。 意外なことに、事前訓練された拡散ベースニューラルネットワークに物体の影だけを注入することで、対象の背景画像内の物体(とその影)を適切に調和させながら、所望の光位置に応じて正確に物体を陰影にすることができる。 我々の手法であるSpotLightは、既存のニューラルレンダリングアプローチを活用し、追加のトレーニングなしで制御可能なリライト結果を達成する。 具体的には、最近の文献の2つのニューラルレンダラーを用いて、その使用を実証する。 本研究では,SpotLightによるオブジェクト合成結果の量的・知覚的にも優れた結果が得られることを示す。

関連論文リスト

• GI-GS: Global Illumination Decomposition on Gaussian Splatting for Inverse Rendering [6.820642721852439]
  GI-GSは3次元ガウススティング(3DGS)と遅延シェーディングを利用する新しい逆レンダリングフレームワークである。 筆者らのフレームワークでは,まずGバッファを描画し,シーンの詳細な形状と材料特性を捉える。 Gバッファと以前のレンダリング結果により、ライトウェイトパストレースにより間接照明を計算することができる。
  論文  参考訳（メタデータ） (2024-10-03T15:58:18Z)
• Neural Gaffer: Relighting Any Object via Diffusion [43.87941408722868]
  我々はニューラル・ギャファーと呼ばれる新しいエンドツーエンドの2次元ライティング拡散モデルを提案する。 我々のモデルは、任意の物体の1つの画像を取り、新しい照明条件下で、正確で高品質な信頼された画像を合成することができる。 本稿では,インターネット画像の総合化と精度の両面からモデルを評価し,その利点を一般化と精度の両面から示す。
  論文  参考訳（メタデータ） (2024-06-11T17:50:15Z)
• LightPainter: Interactive Portrait Relighting with Freehand Scribble [79.95574780974103]
  我々は、スクリブルベースのライティングシステムであるLightPainterを導入し、ユーザーが簡単にポートレート照明効果を操作できるようにする。 リライトモジュールをトレーニングするために,実際のユーザスクリブルを模倣する新しいスクリブルシミュレーション手法を提案する。 定量的および定性的な実験により,高品質でフレキシブルなポートレート照明編集機能を示す。
  論文  参考訳（メタデータ） (2023-03-22T23:17:11Z)
• Learning Object-Centric Neural Scattering Functions for Free-Viewpoint Relighting and Scene Composition [28.533032162292297]
  本稿では,物体の外観を画像のみから再構成する物体中心型ニューラル散乱関数を提案する。 OSFは、自由視点オブジェクトのリライトをサポートするが、不透明なオブジェクトと半透明なオブジェクトの両方をモデル化することもできる。 実データと合成データの実験では、OSFは不透明な物体と半透明な物体の両方の外観を正確に再構成している。
  論文  参考訳（メタデータ） (2023-03-10T18:55:46Z)
• RelightableHands: Efficient Neural Relighting of Articulated Hand Models [46.60594572471557]
  我々は、新しい照明下でリアルタイムにアニメーションできる高忠実度パーソナライズドハンドをレンダリングするための、最初のニューラルリライティング手法を提案する。 本手法では,教師が1点当たりの外観を,ライトステージで撮影した画像から学習する。 教師モデルによって表現されたイメージをトレーニングデータとして利用することにより,学生モデルは自然照度下での外観を直接リアルタイムで予測する。
  論文  参考訳（メタデータ） (2023-02-09T18:59:48Z)
• Designing An Illumination-Aware Network for Deep Image Relighting [69.750906769976]
  本稿では、階層的なサンプリングから1つの画像からシーンを段階的にリライトするためのガイダンスに従うイルミネーション・アウェア・ネットワーク(IAN)を提案する。 さらに、物理レンダリングプロセスの近似として、イルミネーション・アウェア・残留ブロック(IARB)が設計されている。 実験の結果,提案手法は従来の最先端手法よりも定量的,定性的な照準結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-07-21T16:21:24Z)
• Geometry-aware Single-image Full-body Human Relighting [37.381122678376805]
  単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。 それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。 我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
  論文  参考訳（メタデータ） (2022-07-11T10:21:02Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
  光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。 本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。 我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
  論文  参考訳（メタデータ） (2020-10-17T23:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。