論文の概要: Lasagna: Layered Score Distillation for Disentangled Object Relighting

• arxiv url: http://arxiv.org/abs/2312.00833v1
• Date: Thu, 30 Nov 2023 22:54:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 20:37:58.013911
• Title: Lasagna: Layered Score Distillation for Disentangled Object Relighting
• Title（参考訳）: lasagna:不等角点灯のための層状スコア蒸留
• Authors: Dina Bashkirova, Arijit Ray, Rupayan Mallick, Sarah Adel Bargal, Jianming Zhang, Ranjay Krishna, Kate Saenko
• Abstract要約: 直感的なテキスト誘導型リライト制御を実現する手法であるLasagnaを提案する。 ラダーイングは、スコア蒸留サンプリングを用いて、拡散モデルの先行を蒸留することにより、照明を事前に学習する。 Launderingは、入力画像の他の側面を保持しながら現実世界の画像をリライトし、最先端のテキストガイド画像編集方法より優れている。
• 参考スコア（独自算出の注目度）: 62.72462874204734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Professional artists, photographers, and other visual content creators use object relighting to establish their photo's desired effect. Unfortunately, manual tools that allow relighting have a steep learning curve and are difficult to master. Although generative editing methods now enable some forms of image editing, relighting is still beyond today's capabilities; existing methods struggle to keep other aspects of the image -- colors, shapes, and textures -- consistent after the edit. We propose Lasagna, a method that enables intuitive text-guided relighting control. Lasagna learns a lighting prior by using score distillation sampling to distill the prior of a diffusion model, which has been finetuned on synthetic relighting data. To train Lasagna, we curate a new synthetic dataset ReLiT, which contains 3D object assets re-lit from multiple light source locations. Despite training on synthetic images, quantitative results show that Lasagna relights real-world images while preserving other aspects of the input image, outperforming state-of-the-art text-guided image editing methods. Lasagna enables realistic and controlled results on natural images and digital art pieces and is preferred by humans over other methods in over 91% of cases. Finally, we demonstrate the versatility of our learning objective by extending it to allow colorization, another form of image editing.
• Abstract（参考訳）: プロのアーティスト、写真家、その他のビジュアルコンテンツクリエイターは、写真の望ましい効果を確立するためにオブジェクトリライティングを使用する。 残念ながら、リライトを可能にする手動ツールは急な学習曲線を持ち、習得が難しい。 生成的な編集方法によって何らかの画像編集が可能になるが、リライトは依然として今日の機能を超えている。既存の方法では、編集後に画像の他の側面(色、形、テクスチャ)を一貫性を保つのに苦労している。 直感的なテキスト誘導型リライト制御を実現する手法であるLasagnaを提案する。 lasagnaは、スコア蒸留サンプリングを用いて、合成照明データに基づいて微調整された拡散モデルの前の蒸留を行い、照明を学習する。 ラザニアを訓練するために、複数の光源位置から再リライトされた3Dオブジェクトを含む新しい合成データセットReLiTをキュレートする。 合成画像の学習にもかかわらず、ラザグナは入力画像の他の側面を保ちながら実世界の画像を再現し、最先端のテキストガイド画像編集手法を上回っている。 lasagnaは、自然画像やデジタルアート作品のリアルで制御された結果を可能とし、91%以上のケースで他の方法よりも人間に好まれる。 最後に,画像編集の別の形態であるカラー化を可能にするように拡張することで,学習目標の汎用性を示す。

関連論文リスト

• Neural Gaffer: Relighting Any Object via Diffusion [43.87941408722868]
  我々はニューラル・ギャファーと呼ばれる新しいエンドツーエンドの2次元ライティング拡散モデルを提案する。 我々のモデルは、任意の物体の1つの画像を取り、新しい照明条件下で、正確で高品質な信頼された画像を合成することができる。 本稿では,インターネット画像の総合化と精度の両面からモデルを評価し,その利点を一般化と精度の両面から示す。
  論文  参考訳（メタデータ） (2024-06-11T17:50:15Z)
• Photo2Relief: Let Human in the Photograph Stand Out [26.102307166656157]
  そこで我々は,勾配領域で定義された損失関数を装備することにより,勾配を正確に操作し,ニューラルネットワークを訓練するシグモイド変分関数を導入する。 ネットワークモジュールにおける作業の明確な分割を実現するため,一枚の写真から高品質なリリーフを実現するための2スケールアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-07-21T05:33:57Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Factorized and Controllable Neural Re-Rendering of Outdoor Scene for Photo Extrapolation [50.00344639039158]
  本稿では, 乱雑な屋外インターネット写真コレクションから新たなビューを生成するために, ニューラルリレンダリングモデルを提案する。 また,テクスチャの詳細を補完する新しいリアリズム拡張法を提案し,そのテクスチャの詳細を狭められた画像から外挿したニューラルレンダリング画像に自動的に伝達する。
  論文  参考訳（メタデータ） (2022-07-14T13:28:08Z)
• Geometry-aware Single-image Full-body Human Relighting [37.381122678376805]
  単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。 それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。 我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
  論文  参考訳（メタデータ） (2022-07-11T10:21:02Z)
• PhotoScene: Photorealistic Material and Lighting Transfer for Indoor Scenes [84.66946637534089]
  PhotoSceneは、シーンの入力画像を取得し、高品質な素材と同様の照明を備えたフォトリアリスティックデジタルツインを構築するフレームワークである。 プロシージャ素材グラフを用いてシーン素材をモデル化し、そのようなグラフはフォトリアリスティックおよび解像度非依存の材料を表す。 ScanNet, SUN RGB-D, ストック写真からのオブジェクトとレイアウトの再構築について検討し, 高品質で完全に再現可能な3Dシーンを再現できることを実証した。
  論文  参考訳（メタデータ） (2022-07-02T06:52:44Z)
• Cascade Luminance and Chrominance for Image Retouching: More Like Artist [6.116273503284501]
  そこで我々は,まず画像の鮮明化と彩色面への濃淡化を行う2段階ネットワークを提案する。 上記の3つの側面に基づいて、Luminance-Chrominance Cascading Net(LCCNet)は、アーティストを写真修正で模倣する機械学習問題をより合理的に解決する。
  論文  参考訳（メタデータ） (2022-05-31T17:58:28Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• Self-supervised Outdoor Scene Relighting [92.20785788740407]
  本稿では, 自己指導型リライティング手法を提案する。 当社のアプローチは,ユーザの監督なしにインターネットから収集した画像のコーパスのみに基づいて訓練されている。 以上の結果から,写実的かつ物理的に妥当な結果を生成できる技術が,見えない場面に一般化できることが示唆された。
  論文  参考訳（メタデータ） (2021-07-07T09:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。