論文の概要: MatSwap: Light-aware material transfers in images

• arxiv url: http://arxiv.org/abs/2502.07784v1
• Date: Tue, 11 Feb 2025 18:59:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:06:27.591315
• Title: MatSwap: Light-aware material transfers in images
• Title（参考訳）: MatSwap: 画像中の光を認識した物質移動
• Authors: Ivan Lopes, Valentin Deschaintre, Yannick Hold-Geoffroy, Raoul de Charette,
• Abstract要約: MatSwap(マットスワップ)は、画像内の指定された表面に物質を移す方法である。 我々は、露光紫外線マッピングを必要とせずに、入力材料とシーン内の外観の関係を学習する。 本手法では,シーンの同一性を保ちながら,所望の素材を写真中のターゲット位置にシームレスに統合する。
• 参考スコア（独自算出の注目度）: 18.37330769828654
• License:
• Abstract: We present MatSwap, a method to transfer materials to designated surfaces in an image photorealistically. Such a task is non-trivial due to the large entanglement of material appearance, geometry, and lighting in a photograph. In the literature, material editing methods typically rely on either cumbersome text engineering or extensive manual annotations requiring artist knowledge and 3D scene properties that are impractical to obtain. In contrast, we propose to directly learn the relationship between the input material -- as observed on a flat surface -- and its appearance within the scene, without the need for explicit UV mapping. To achieve this, we rely on a custom light- and geometry-aware diffusion model. We fine-tune a large-scale pre-trained text-to-image model for material transfer using our synthetic dataset, preserving its strong priors to ensure effective generalization to real images. As a result, our method seamlessly integrates a desired material into the target location in the photograph while retaining the identity of the scene. We evaluate our method on synthetic and real images and show that it compares favorably to recent work both qualitatively and quantitatively. We will release our code and data upon publication.
• Abstract（参考訳）: マットスワップ(MatSwap)は、画像内の指定された表面への物質移動をフォトリアリスティックに行う方法である。 このような作業は、写真における材質の外観、幾何学、照明の大きな絡み合いのため、簡単ではない。 文献では、素材編集の手法は、典型的には扱いにくいテキスト工学か、アーティストの知識を必要とする広範囲な手書きの注釈と、入手できない3Dシーン特性に頼っている。 対照的に、平面上で観察される入力材料とシーン内の外観の関係を直接学習し、露骨な紫外線マッピングを必要とせず、直接学習することを提案する。 これを実現するために、我々は独自の光と幾何認識拡散モデルに依存している。 合成データセットを用いて、大規模にトレーニング済みのテキスト・ツー・イメージモデルを微調整し、実際の画像への効果的な一般化を保証するために、その強力な事前保存を行う。 その結果,シーンの同一性を保ちながら,所望の素材を写真中のターゲット位置にシームレスに統合する。 本手法は, 合成画像と実画像で評価し, 定性的かつ定量的に最近の研究と比較した。 コードとデータを公開時に公開します。

関連論文リスト

• Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering [56.68286440268329]
  現実世界のシーンの画像に仮想オブジェクトを正しく挿入するには、シーンの照明、幾何学、材料を深く理解する必要がある。 本稿では,物理ベースの逆レンダリングプロセスへのガイダンスとして,パーソナライズされた大規模拡散モデルを提案する。 本手法は,シーンライティングとトーンマッピングのパラメータを復元し,任意の仮想オブジェクトの光リアルな構成を室内や屋外のシーンの単一フレームやビデオで再現する。
  論文  参考訳（メタデータ） (2024-08-19T05:15:45Z)
• MaPa: Text-driven Photorealistic Material Painting for 3D Shapes [80.66880375862628]
  本稿では,テキスト記述から3次元メッシュの材料を作成することを目的とする。 テクスチャマップを合成する既存の方法とは異なり、我々はセグメントワイドな手続き的な材料グラフを生成することを提案する。 我々のフレームワークは高品質なレンダリングをサポートし、編集にかなりの柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-26T17:54:38Z)
• IntrinsicAnything: Learning Diffusion Priors for Inverse Rendering Under Unknown Illumination [37.96484120807323]
  本稿では,未知の静止照明条件下で撮影されたポーズ画像から対象物質を回収することを目的とする。 我々は、最適化プロセスの正規化のための生成モデルを用いて、その材料を事前に学習する。 実世界および合成データセットを用いた実験により,本手法が材料回収における最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-04-17T17:45:08Z)
• ZeST: Zero-Shot Material Transfer from a Single Image [59.714441587735614]
  ZeSTは、典型的な画像が与えられた入力画像中のオブジェクトにゼロショットの物質を転送する方法である。 異なる照明下で複数編集および頑健な材料割り当てを行うためのZeSTの適用例を示す。
  論文  参考訳（メタデータ） (2024-04-09T16:15:03Z)
• Intrinsic Image Diffusion for Indoor Single-view Material Estimation [55.276815106443976]
  室内シーンの外観分解のための生成モデルIntrinsic Image Diffusionを提案する。 1つの入力ビューから、アルベド、粗さ、および金属地図として表される複数の材料説明をサンプリングする。 提案手法は,PSNRで1.5dB$,アルベド予測で45%のFIDスコアを達成し,よりシャープで,より一貫性があり,より詳細な資料を生成する。
  論文  参考訳（メタデータ） (2023-12-19T15:56:19Z)
• Alchemist: Parametric Control of Material Properties with Diffusion Models [51.63031820280475]
  本手法は,フォトリアリズムで知られているテキスト・イメージ・モデルの生成先行に乗じる。 我々は,NeRFの材料化へのモデルの適用の可能性を示す。
  論文  参考訳（メタデータ） (2023-12-05T18:58:26Z)
• Material Palette: Extraction of Materials from a Single Image [19.410479434979493]
  実世界の1つの画像から物理ベースレンダリング(PBR)素材を抽出する手法を提案する。 画像の領域を拡散モデルを用いて物質概念にマッピングし、シーン内の各材料に類似したテクスチャ画像のサンプリングを可能にする。 第二に、生成したテクスチャを空間変数BRDFに分解する別のネットワークの恩恵を受ける。
  論文  参考訳（メタデータ） (2023-11-28T18:59:58Z)
• Materialistic: Selecting Similar Materials in Images [30.85562156542794]
  アーティスト・ちょうせんエリアと同じ素材を示す写真の領域を選択する方法を提案する。 提案手法は、シェーディング、スペックハイライト、キャストシャドーに対して堅牢であり、実際の画像の選択を可能にする。 本モデルでは,画像編集,動画内選択,類似した素材を用いたオブジェクト画像の検索など,一連の応用について実演する。
  論文  参考訳（メタデータ） (2023-05-22T17:50:48Z)
• Photo-to-Shape Material Transfer for Diverse Structures [15.816608726698986]
  本稿では,3次元形状に光写実的可照性材料を自動的に割り当てる手法を提案する。 本手法は,画像翻訳ニューラルネットワークと物質割当ニューラルネットワークを組み合わせる。 本手法により, 材料を形状に割り当てることができ, 外観が入力例によく似ていることを示す。
  論文  参考訳（メタデータ） (2022-05-09T03:37:01Z)
• Neural Photometry-guided Visual Attribute Transfer [4.630419389180576]
  本稿では,同じ又は類似の素材のより大きなサンプルに対して,視覚的特性を伝播する深層学習に基づく手法を提案する。 トレーニングには、複数のイルミネーションと専用データ拡張ポリシーの下で撮影された材料の画像を活用する。 我々のモデルは、教師付き画像から画像への変換フレームワークに依存しており、転送されたドメインに依存しない。
  論文  参考訳（メタデータ） (2021-12-05T09:22:28Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。