論文の概要: Lasagna: Layered Score Distillation for Disentangled Object Relighting

• arxiv url: http://arxiv.org/abs/2312.00833v1
• Date: Thu, 30 Nov 2023 22:54:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 20:37:58.013911
• Title: Lasagna: Layered Score Distillation for Disentangled Object Relighting
• Title（参考訳）: lasagna:不等角点灯のための層状スコア蒸留
• Authors: Dina Bashkirova, Arijit Ray, Rupayan Mallick, Sarah Adel Bargal, Jianming Zhang, Ranjay Krishna, Kate Saenko
• Abstract要約: 直感的なテキスト誘導型リライト制御を実現する手法であるLasagnaを提案する。 ラダーイングは、スコア蒸留サンプリングを用いて、拡散モデルの先行を蒸留することにより、照明を事前に学習する。 Launderingは、入力画像の他の側面を保持しながら現実世界の画像をリライトし、最先端のテキストガイド画像編集方法より優れている。
• 参考スコア（独自算出の注目度）: 62.72462874204734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Professional artists, photographers, and other visual content creators use object relighting to establish their photo's desired effect. Unfortunately, manual tools that allow relighting have a steep learning curve and are difficult to master. Although generative editing methods now enable some forms of image editing, relighting is still beyond today's capabilities; existing methods struggle to keep other aspects of the image -- colors, shapes, and textures -- consistent after the edit. We propose Lasagna, a method that enables intuitive text-guided relighting control. Lasagna learns a lighting prior by using score distillation sampling to distill the prior of a diffusion model, which has been finetuned on synthetic relighting data. To train Lasagna, we curate a new synthetic dataset ReLiT, which contains 3D object assets re-lit from multiple light source locations. Despite training on synthetic images, quantitative results show that Lasagna relights real-world images while preserving other aspects of the input image, outperforming state-of-the-art text-guided image editing methods. Lasagna enables realistic and controlled results on natural images and digital art pieces and is preferred by humans over other methods in over 91% of cases. Finally, we demonstrate the versatility of our learning objective by extending it to allow colorization, another form of image editing.
• Abstract（参考訳）: プロのアーティスト、写真家、その他のビジュアルコンテンツクリエイターは、写真の望ましい効果を確立するためにオブジェクトリライティングを使用する。 残念ながら、リライトを可能にする手動ツールは急な学習曲線を持ち、習得が難しい。 生成的な編集方法によって何らかの画像編集が可能になるが、リライトは依然として今日の機能を超えている。既存の方法では、編集後に画像の他の側面(色、形、テクスチャ)を一貫性を保つのに苦労している。 直感的なテキスト誘導型リライト制御を実現する手法であるLasagnaを提案する。 lasagnaは、スコア蒸留サンプリングを用いて、合成照明データに基づいて微調整された拡散モデルの前の蒸留を行い、照明を学習する。 ラザニアを訓練するために、複数の光源位置から再リライトされた3Dオブジェクトを含む新しい合成データセットReLiTをキュレートする。 合成画像の学習にもかかわらず、ラザグナは入力画像の他の側面を保ちながら実世界の画像を再現し、最先端のテキストガイド画像編集手法を上回っている。 lasagnaは、自然画像やデジタルアート作品のリアルで制御された結果を可能とし、91%以上のケースで他の方法よりも人間に好まれる。 最後に,画像編集の別の形態であるカラー化を可能にするように拡張することで,学習目標の汎用性を示す。

関連論文リスト

• SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces [16.65498750779018]
  ポートレートライティングのための拡散モデルであるSynthLightを紹介する。 本手法では,環境照明条件の変化に応じて画素を変換する再レンダリング問題として,画像のリライティングを行う。 我々は、この照明条件の変換を、様々な照明の下で3Dヘッドアセットでシミュレートするデータセットを合成する。
  論文  参考訳（メタデータ） (2025-01-16T18:59:48Z)
• Materialist: Physically Based Editing Using Single-Image Inverse Rendering [50.39048790589746]
  本稿では、学習に基づくアプローチとプログレッシブな微分可能レンダリングを組み合わせた手法を提案する。 提案手法は,より現実的な光物質相互作用,正確な影,大域的な照明を実現する。 また,全シーン形状を必要とせず,効果的に機能する材料透過性編集手法を提案する。
  論文  参考訳（メタデータ） (2025-01-07T11:52:01Z)
• Generative Image Layer Decomposition with Visual Effects [49.75021036203426]
  LayerDecompは、イメージ層分解のための生成フレームワークである。 清潔な背景と、忠実に保存された視覚効果を持つ高品質な透明な前景を作り出す。 本手法は,オブジェクト除去や空間編集作業において,既存の手法よりも優れた分解特性を実現する。
  論文  参考訳（メタデータ） (2024-11-26T20:26:49Z)
• Neural Gaffer: Relighting Any Object via Diffusion [43.87941408722868]
  我々はニューラル・ギャファーと呼ばれる新しいエンドツーエンドの2次元ライティング拡散モデルを提案する。 我々のモデルは、任意の物体の1つの画像を取り、新しい照明条件下で、正確で高品質な信頼された画像を合成することができる。 本稿では,インターネット画像の総合化と精度の両面からモデルを評価し,その利点を一般化と精度の両面から示す。
  論文  参考訳（メタデータ） (2024-06-11T17:50:15Z)
• Photo2Relief: Let Human in the Photograph Stand Out [26.102307166656157]
  そこで我々は,勾配領域で定義された損失関数を装備することにより,勾配を正確に操作し,ニューラルネットワークを訓練するシグモイド変分関数を導入する。 ネットワークモジュールにおける作業の明確な分割を実現するため,一枚の写真から高品質なリリーフを実現するための2スケールアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-07-21T05:33:57Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• PhotoScene: Photorealistic Material and Lighting Transfer for Indoor Scenes [84.66946637534089]
  PhotoSceneは、シーンの入力画像を取得し、高品質な素材と同様の照明を備えたフォトリアリスティックデジタルツインを構築するフレームワークである。 プロシージャ素材グラフを用いてシーン素材をモデル化し、そのようなグラフはフォトリアリスティックおよび解像度非依存の材料を表す。 ScanNet, SUN RGB-D, ストック写真からのオブジェクトとレイアウトの再構築について検討し, 高品質で完全に再現可能な3Dシーンを再現できることを実証した。
  論文  参考訳（メタデータ） (2022-07-02T06:52:44Z)
• Cascade Luminance and Chrominance for Image Retouching: More Like Artist [6.116273503284501]
  そこで我々は,まず画像の鮮明化と彩色面への濃淡化を行う2段階ネットワークを提案する。 上記の3つの側面に基づいて、Luminance-Chrominance Cascading Net(LCCNet)は、アーティストを写真修正で模倣する機械学習問題をより合理的に解決する。
  論文  参考訳（メタデータ） (2022-05-31T17:58:28Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。