論文の概要: MARBLE: Material Recomposition and Blending in CLIP-Space
- arxiv url: http://arxiv.org/abs/2506.05313v1
- Date: Thu, 05 Jun 2025 17:55:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-06 21:53:49.88092
- Title: MARBLE: Material Recomposition and Blending in CLIP-Space
- Title（参考訳）: MARBLE:CLIP空間における材料再構成と曲げ
- Authors: Ta-Ying Cheng, Prafull Sharma, Mark Boss, Varun Jampani,
- Abstract要約: 材料をCLIP空間に埋没させることにより, 微細な材料特性をブレンディングし, 再合成する手法を提案する。
資料帰属に責任を負うUNetのブロックを見つけることにより,既存の素材編集を改善する。
- 参考スコア（独自算出の注目度）: 34.22278569839714
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Editing materials of objects in images based on exemplar images is an active area of research in computer vision and graphics. We propose MARBLE, a method for performing material blending and recomposing fine-grained material properties by finding material embeddings in CLIP-space and using that to control pre-trained text-to-image models. We improve exemplar-based material editing by finding a block in the denoising UNet responsible for material attribution. Given two material exemplar-images, we find directions in the CLIP-space for blending the materials. Further, we can achieve parametric control over fine-grained material attributes such as roughness, metallic, transparency, and glow using a shallow network to predict the direction for the desired material attribute change. We perform qualitative and quantitative analysis to demonstrate the efficacy of our proposed method. We also present the ability of our method to perform multiple edits in a single forward pass and applicability to painting. Project Page: https://marblecontrol.github.io/
- Abstract（参考訳）: 画像中のオブジェクトの素材を模範画像に基づいて編集することは、コンピュータビジョンとグラフィックスの研究の活発な領域である。
我々は,CLIP空間に材料埋め込みを発見し,それを用いて事前学習したテキスト・ツー・イメージ・モデルを制御することによって,微細な材料特性のブレンディングと再合成を行う手法であるMARBLEを提案する。
資料帰属に責任を負うUNetのブロックを見出すことにより,既存の素材編集を改善する。
物質が2つある場合、材料を混合するためのCLIP空間の方向を見出す。
さらに, 粗さ, 金属, 透明度, 明度などの微細な材料特性に対して, 浅いネットワークを用いてパラメトリック制御を行い, 所望の材料特性変化の方向を予測する。
提案手法の有効性を実証するために,定性的,定量的な分析を行った。
また,本手法では,複数編集を1回のフォワードパスで行うことができ,絵画への適用性も向上する。
Project Page: https://marblecontrol.github.io/
関連論文リスト
- MatSwap: Light-aware material transfers in images [18.37330769828654]
MatSwap(マットスワップ)は、画像内の指定された表面に物質を移す方法である。
我々は、露光紫外線マッピングを必要とせずに、入力材料とシーン内の外観の関係を学習する。
本手法では,シーンの同一性を保ちながら,所望の素材を写真中のターゲット位置にシームレスに統合する。
論文 参考訳（メタデータ） (2025-02-11T18:59:59Z) - Materialist: Physically Based Editing Using Single-Image Inverse Rendering [50.39048790589746]
本稿では、学習に基づくアプローチとプログレッシブな微分可能レンダリングを組み合わせた手法を提案する。
提案手法は,より現実的な光物質相互作用,正確な影,大域的な照明を実現する。
また,全シーン形状を必要とせず,効果的に機能する材料透過性編集手法を提案する。
論文 参考訳（メタデータ） (2025-01-07T11:52:01Z) - MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets [63.284244910964475]
本稿では,2次元のセマンティクスから基礎となる物質を推定する3次元アセット素材生成フレームワークを提案する。
このような先行モデルに基づいて,材料を三次元空間で解析する機構を考案する。
論文 参考訳（メタデータ） (2024-04-22T07:00:17Z) - Intrinsic Image Diffusion for Indoor Single-view Material Estimation [55.276815106443976]
室内シーンの外観分解のための生成モデルIntrinsic Image Diffusionを提案する。
1つの入力ビューから、アルベド、粗さ、および金属地図として表される複数の材料説明をサンプリングする。
提案手法は,PSNRで1.5dB$,アルベド予測で45%のFIDスコアを達成し,よりシャープで,より一貫性があり,より詳細な資料を生成する。
論文 参考訳（メタデータ） (2023-12-19T15:56:19Z) - Alchemist: Parametric Control of Material Properties with Diffusion
Models [51.63031820280475]
本手法は,フォトリアリズムで知られているテキスト・イメージ・モデルの生成先行に乗じる。
我々は,NeRFの材料化へのモデルの適用の可能性を示す。
論文 参考訳（メタデータ） (2023-12-05T18:58:26Z) - MatFuse: Controllable Material Generation with Diffusion Models [10.993516790237503]
MatFuseは3D素材の作成と編集に拡散モデルの生成力を利用する統一的なアプローチである。
本手法は,カラーパレット,スケッチ,テキスト,画像など,複数のコンディショニング源を統合し,創造性を向上する。
複数の条件設定下でのMatFuseの有効性を実証し,材料編集の可能性を探る。
論文 参考訳（メタデータ） (2023-08-22T12:54:48Z) - One-shot recognition of any material anywhere using contrastive learning
with physics-based rendering [0.0]
材料とテクスチャ間の類似点と遷移点をコンピュータビジョンで認識するための合成データセットMateSim、ベンチマーク、および方法を提案する。
食材を視覚的に認識することは、調理中に食品を調べること、農業、化学、工業製品を調べることなど、あらゆることに不可欠である。
論文 参考訳（メタデータ） (2022-12-01T16:49:53Z) - MaterialGAN: Reflectance Capture using a Generative SVBRDF Model [33.578080406338266]
本稿では,StyleGAN2をベースとした深層生成畳み込みネットワークであるMaterialGANを提案する。
逆レンダリングフレームワークにおいて,MaterialGANは強力な素材として利用できることを示す。
携帯端末を用いたフラッシュ照明下で撮影された画像からSVBRDFを再構成する作業において,この枠組みを実証する。
論文 参考訳（メタデータ） (2020-09-30T21:33:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。