論文の概要: ZeST: Zero-Shot Material Transfer from a Single Image
- arxiv url: http://arxiv.org/abs/2404.06425v1
- Date: Tue, 9 Apr 2024 16:15:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 14:01:33.822908
- Title: ZeST: Zero-Shot Material Transfer from a Single Image
- Title（参考訳）: ZeST: 単一画像からのゼロショット物質移動
- Authors: Ta-Ying Cheng, Prafull Sharma, Andrew Markham, Niki Trigoni, Varun Jampani,
- Abstract要約: ZeSTは、典型的な画像が与えられた入力画像中のオブジェクトにゼロショットの物質を転送する方法である。
異なる照明下で複数編集および頑健な材料割り当てを行うためのZeSTの適用例を示す。
- 参考スコア（独自算出の注目度）: 59.714441587735614
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose ZeST, a method for zero-shot material transfer to an object in the input image given a material exemplar image. ZeST leverages existing diffusion adapters to extract implicit material representation from the exemplar image. This representation is used to transfer the material using pre-trained inpainting diffusion model on the object in the input image using depth estimates as geometry cue and grayscale object shading as illumination cues. The method works on real images without any training resulting a zero-shot approach. Both qualitative and quantitative results on real and synthetic datasets demonstrate that ZeST outputs photorealistic images with transferred materials. We also show the application of ZeST to perform multiple edits and robust material assignment under different illuminations. Project Page: https://ttchengab.github.io/zest
- Abstract（参考訳）: 本稿では,ZeSTを提案する。ZeST,ZeST,ZeST,ZeST,ZeST,ZeST,ZeST,ZeST,ZeST,ZeST,ZeST,ZeST。
ZeSTは既存の拡散アダプタを利用して、模範画像から暗黙の物質表現を抽出する。
この表現は、奥行き推定を幾何学キュー、グレースケールの物体シェーディングを照明キューとして使用し、入力画像中の物体に予め学習した塗布拡散モデルを用いて物質を転写する。
この方法は、トレーニングなしで実画像上で動作し、ゼロショットのアプローチをもたらす。
実際のデータセットと合成データセットの質的および定量的結果の両方で、ZeSTは転写された物質でフォトリアリスティックな画像を出力することを示した。
また,ZeSTを複数の編集や,異なる照明下での頑健な材料割り当てに応用することも示す。
プロジェクトページ: https://ttchengab.github.io/zest
関連論文リスト
- MatSwap: Light-aware material transfers in images [18.37330769828654]
MatSwap(マットスワップ)は、画像内の指定された表面に物質を移す方法である。
我々は、露光紫外線マッピングを必要とせずに、入力材料とシーン内の外観の関係を学習する。
本手法では,シーンの同一性を保ちながら,所望の素材を写真中のターゲット位置にシームレスに統合する。
論文 参考訳（メタデータ） (2025-02-11T18:59:59Z) - Materialist: Physically Based Editing Using Single-Image Inverse Rendering [50.39048790589746]
本稿では、学習に基づくアプローチとプログレッシブな微分可能レンダリングを組み合わせた手法を提案する。
提案手法は,より現実的な光物質相互作用,正確な影,大域的な照明を実現する。
また,全シーン形状を必要とせず,効果的に機能する材料透過性編集手法を提案する。
論文 参考訳（メタデータ） (2025-01-07T11:52:01Z) - IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations [64.07859467542664]
画像から幾何学的および物質的情報をキャプチャすることは、コンピュータビジョンとグラフィックスの基本的な課題である。
従来の最適化に基づく手法では、密集した多視点入力から幾何学、材料特性、環境照明を再構築するために数時間の計算時間を必要とすることが多い。
IDArbは、様々な照明条件下で、任意の画像に対して本質的な分解を行うために設計された拡散モデルである。
論文 参考訳（メタデータ） (2024-12-16T18:52:56Z) - MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets [63.284244910964475]
本稿では,2次元のセマンティクスから基礎となる物質を推定する3次元アセット素材生成フレームワークを提案する。
このような先行モデルに基づいて,材料を三次元空間で解析する機構を考案する。
論文 参考訳（メタデータ） (2024-04-22T07:00:17Z) - IntrinsicAnything: Learning Diffusion Priors for Inverse Rendering Under Unknown Illumination [37.96484120807323]
本稿では,未知の静止照明条件下で撮影されたポーズ画像から対象物質を回収することを目的とする。
我々は、最適化プロセスの正規化のための生成モデルを用いて、その材料を事前に学習する。
実世界および合成データセットを用いた実験により,本手法が材料回収における最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2024-04-17T17:45:08Z) - Material Palette: Extraction of Materials from a Single Image [19.410479434979493]
実世界の1つの画像から物理ベースレンダリング(PBR)素材を抽出する手法を提案する。
画像の領域を拡散モデルを用いて物質概念にマッピングし、シーン内の各材料に類似したテクスチャ画像のサンプリングを可能にする。
第二に、生成したテクスチャを空間変数BRDFに分解する別のネットワークの恩恵を受ける。
論文 参考訳（メタデータ） (2023-11-28T18:59:58Z) - NDJIR: Neural Direct and Joint Inverse Rendering for Geometry, Lights,
and Materials of Real Object [5.665283675533071]
我々はニューラルダイレクトおよびジョイントリバースレンダリング(NDJIR)を提案する。
提案手法は, 実際のオブジェクトに対して, フォトグラム設定で意味論的に分解することができる。
論文 参考訳（メタデータ） (2023-02-02T13:21:03Z) - Designing An Illumination-Aware Network for Deep Image Relighting [69.750906769976]
本稿では、階層的なサンプリングから1つの画像からシーンを段階的にリライトするためのガイダンスに従うイルミネーション・アウェア・ネットワーク(IAN)を提案する。
さらに、物理レンダリングプロセスの近似として、イルミネーション・アウェア・残留ブロック(IARB)が設計されている。
実験の結果,提案手法は従来の最先端手法よりも定量的,定性的な照準結果が得られることがわかった。
論文 参考訳（メタデータ） (2022-07-21T16:21:24Z) - Enhancing Low-Light Images in Real World via Cross-Image Disentanglement [58.754943762945864]
そこで本研究では,現実の汚職とミスアライメントされたトレーニング画像からなる,新しい低照度画像強調データセットを提案する。
本モデルでは,新たに提案したデータセットと,他の一般的な低照度データセットの両方に対して,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-01-10T03:12:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。