論文の概要: Alchemist: Parametric Control of Material Properties with Diffusion
Models
- arxiv url: http://arxiv.org/abs/2312.02970v1
- Date: Tue, 5 Dec 2023 18:58:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 14:33:12.262215
- Title: Alchemist: Parametric Control of Material Properties with Diffusion
Models
- Title(参考訳): alchemist:拡散モデルによる材料特性のパラメトリック制御
- Authors: Prafull Sharma, Varun Jampani, Yuanzhen Li, Xuhui Jia, Dmitry Lagun,
Fredo Durand, William T. Freeman, Mark Matthews
- Abstract要約: 本手法は,フォトリアリズムで知られているテキスト・イメージ・モデルの生成先行に乗じる。
我々は,NeRFの材料化へのモデルの適用の可能性を示す。
- 参考スコア(独自算出の注目度): 51.63031820280475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a method to control material attributes of objects like roughness,
metallic, albedo, and transparency in real images. Our method capitalizes on
the generative prior of text-to-image models known for photorealism, employing
a scalar value and instructions to alter low-level material properties.
Addressing the lack of datasets with controlled material attributes, we
generated an object-centric synthetic dataset with physically-based materials.
Fine-tuning a modified pre-trained text-to-image model on this synthetic
dataset enables us to edit material properties in real-world images while
preserving all other attributes. We show the potential application of our model
to material edited NeRFs.
- Abstract(参考訳): 本研究では,粗さ,金属,アルベド,透過性などの物体の物質特性を実画像で制御する手法を提案する。
提案手法は,スカラー値と命令を用いて低レベルな材料特性を変化させることにより,フォトリアリズムで知られたテキスト・ツー・イメージ・モデルの生成先行に乗じる。
物質特性を制御したデータセットの欠如に対処し,物理材料を用いたオブジェクト中心合成データセットを作成した。
この合成データセットに事前訓練したテキスト・ツー・イメージモデルを微調整することで、他の属性をすべて保存しながら現実世界の画像の素材特性を編集できる。
我々は,NeRFの材料化へのモデルの適用の可能性を示す。
関連論文リスト
- Intrinsic Image Diffusion for Single-view Material Estimation [0.0]
室内シーンの外観分解のための生成モデルIntrinsic Image Diffusionを提案する。
1つの入力ビューから、アルベド、粗さ、および金属地図として表される複数の材料説明をサンプリングする。
提案手法は,PSNRで1.5dB$,アルベド予測で45%のFIDスコアを達成し,よりシャープで,より一貫性があり,より詳細な資料を生成する。
論文 参考訳(メタデータ) (2023-12-19T15:56:19Z) - MatFuse: Controllable Material Generation with Diffusion Models [10.993516790237503]
MatFuseは3D素材の作成と編集に拡散モデルの生成力を利用する統一的なアプローチである。
本手法は,カラーパレット,スケッチ,テキスト,画像など,複数のコンディショニング源を統合し,創造性を向上する。
複数の条件設定下でのMatFuseの有効性を実証し,材料編集の可能性を探る。
論文 参考訳(メタデータ) (2023-08-22T12:54:48Z) - One-shot recognition of any material anywhere using contrastive learning
with physics-based rendering [0.0]
材料とテクスチャ間の類似点と遷移点をコンピュータビジョンで認識するための合成データセットMateSim、ベンチマーク、および方法を提案する。
食材を視覚的に認識することは、調理中に食品を調べること、農業、化学、工業製品を調べることなど、あらゆることに不可欠である。
論文 参考訳(メタデータ) (2022-12-01T16:49:53Z) - Is synthetic data from generative models ready for image recognition? [69.42645602062024]
本研究では,最新のテキスト・画像生成モデルから生成した合成画像が,画像認識タスクにどのように利用できるかを検討した。
本稿では,既存の生成モデルからの合成データの強大さと欠点を示し,認識タスクに合成データを適用するための戦略を提案する。
論文 参考訳(メタデータ) (2022-10-14T06:54:24Z) - Generative Deformable Radiance Fields for Disentangled Image Synthesis
of Topology-Varying Objects [52.46838926521572]
3D認識生成モデルは、モノクロ2D画像の集合から3Dニューラル放射場(NeRF)を生成するスーパーブパフォーマンスを実証した。
本研究では, トポロジー変化物体の放射場を非交絡形状と外観変化で合成する生成モデルを提案する。
論文 参考訳(メタデータ) (2022-09-09T08:44:06Z) - Neural Photometry-guided Visual Attribute Transfer [4.630419389180576]
本稿では,同じ又は類似の素材のより大きなサンプルに対して,視覚的特性を伝播する深層学習に基づく手法を提案する。
トレーニングには、複数のイルミネーションと専用データ拡張ポリシーの下で撮影された材料の画像を活用する。
我々のモデルは、教師付き画像から画像への変換フレームワークに依存しており、転送されたドメインに依存しない。
論文 参考訳(メタデータ) (2021-12-05T09:22:28Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳(メタデータ) (2021-10-30T01:59:39Z) - MaterialGAN: Reflectance Capture using a Generative SVBRDF Model [33.578080406338266]
本稿では,StyleGAN2をベースとした深層生成畳み込みネットワークであるMaterialGANを提案する。
逆レンダリングフレームワークにおいて,MaterialGANは強力な素材として利用できることを示す。
携帯端末を用いたフラッシュ照明下で撮影された画像からSVBRDFを再構成する作業において,この枠組みを実証する。
論文 参考訳(メタデータ) (2020-09-30T21:33:00Z) - OpenRooms: An End-to-End Open Framework for Photorealistic Indoor Scene
Datasets [103.54691385842314]
本研究では,屋内シーンの大規模フォトリアリスティックデータセットを作成するための新しいフレームワークを提案する。
私たちの目標は、データセット作成プロセスを広く利用できるようにすることです。
これにより、逆レンダリング、シーン理解、ロボット工学における重要な応用が可能になる。
論文 参考訳(メタデータ) (2020-07-25T06:48:47Z) - Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image
Decomposition [67.9464567157846]
合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。
実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
論文 参考訳(メタデータ) (2020-06-29T12:53:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。