論文の概要: RealMat: Realistic Materials with Diffusion and Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2509.01134v1
• Date: Mon, 01 Sep 2025 05:04:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.548693
• Title: RealMat: Realistic Materials with Diffusion and Reinforcement Learning
• Title（参考訳）: RealMat:拡散・強化学習による現実的材料
• Authors: Xilong Zhou, Pedro Figueiredo, Miloš Hašan, Valentin Deschaintre, Paul Guerrero, Yiwei Hu, Nima Khademi Kalantari,
• Abstract要約: 本稿では,現実的な先行情報を活用する拡散型物質生成装置であるRealMatを提案する。 まず,2倍の格子で配置された合成材料マップを用いて,予め訓練した安定拡散XL(SDXL)を微調整する。 本稿では,Regress Learning (RL) を通じてモデルをさらに微調整し,現実的な素材の創出を促すことを提案する。
• 参考スコア（独自算出の注目度）: 15.780720815063262
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Generative models for high-quality materials are particularly desirable to make 3D content authoring more accessible. However, the majority of material generation methods are trained on synthetic data. Synthetic data provides precise supervision for material maps, which is convenient but also tends to create a significant visual gap with real-world materials. Alternatively, recent work used a small dataset of real flash photographs to guarantee realism, however such data is limited in scale and diversity. To address these limitations, we propose RealMat, a diffusion-based material generator that leverages realistic priors, including a text-to-image model and a dataset of realistic material photos under natural lighting. In RealMat, we first finetune a pretrained Stable Diffusion XL (SDXL) with synthetic material maps arranged in $2 \times 2$ grids. This way, our model inherits some realism of SDXL while learning the data distribution of the synthetic material grids. Still, this creates a realism gap, with some generated materials appearing synthetic. We propose to further finetune our model through reinforcement learning (RL), encouraging the generation of realistic materials. We develop a realism reward function for any material image under natural lighting, by collecting a large-scale dataset of realistic material images. We show that this approach increases generated materials' realism compared to our base model and related work.
• Abstract（参考訳）: 高品質な材料の生成モデルは、特に3Dコンテンツのオーサリングをよりアクセスしやすいものにすることが望ましい。 しかし、物質生成法の大部分は、合成データに基づいて訓練されている。 合成データは、物質マップの精密な監督を提供するが、これは便利であるが、現実の物質との視覚的ギャップを生じさせる傾向がある。 あるいは、最近の研究は、現実主義を保証するために、実際のフラッシュ写真の小さなデータセットを使用したが、そのようなデータはスケールと多様性に制限されている。 このような制約に対処するため,本研究では,テキスト・ツー・イメージ・モデルや自然光下でのリアルな素材画像のデータセットなど,現実的な事前情報を活用する拡散型物質生成装置であるRealMatを提案する。 RealMatでは、事前に訓練された安定拡散XL(SDXL)を2ドル2セントの格子に配置した合成材料マップで精細化する。 このようにして、合成材料グリッドのデータ分布を学習しながらSDXLの現実性を継承する。 それでも、これは現実主義のギャップを生じさせ、生成した物質が合成的に現れる。 本稿では,Regress Learning (RL) を通じてモデルをさらに微調整し,現実的な素材の創出を促すことを提案する。 我々は,現実的な物質画像の大規模データセットを収集することにより,自然光下での任意の物質画像に対するリアリズム報酬関数を開発する。 提案手法は, 基本モデルと関連する作業と比較して, 生成物のリアリズムを増大させることを示す。

関連論文リスト

• MatSwap: Light-aware material transfers in images [18.37330769828654]
  MatSwap(マットスワップ)は、画像内の指定された表面に物質を移す方法である。 我々は、露光紫外線マッピングを必要とせずに、入力材料とシーン内の外観の関係を学習する。 本手法では,シーンの同一性を保ちながら,所望の素材を写真中のターゲット位置にシームレスに統合する。
  論文  参考訳（メタデータ） (2025-02-11T18:59:59Z)
• Make-it-Real: Unleashing Large Multimodal Model for Painting 3D Objects with Realistic Materials [108.59709545364395]
  GPT-4Vは、材料を効果的に認識し、記述することができ、詳細な材料ライブラリを構築することができる。 そして、整合した材料を、新たなSVBRDF材料生成の基準として慎重に適用する。 Make-it-Realは、3Dコンテンツ作成ワークフローに合理化された統合を提供する。
  論文  参考訳（メタデータ） (2024-04-25T17:59:58Z)
• Intrinsic Image Diffusion for Indoor Single-view Material Estimation [55.276815106443976]
  室内シーンの外観分解のための生成モデルIntrinsic Image Diffusionを提案する。 1つの入力ビューから、アルベド、粗さ、および金属地図として表される複数の材料説明をサンプリングする。 提案手法は,PSNRで1.5dB$,アルベド予測で45%のFIDスコアを達成し,よりシャープで,より一貫性があり,より詳細な資料を生成する。
  論文  参考訳（メタデータ） (2023-12-19T15:56:19Z)
• Alchemist: Parametric Control of Material Properties with Diffusion Models [51.63031820280475]
  本手法は,フォトリアリズムで知られているテキスト・イメージ・モデルの生成先行に乗じる。 我々は,NeRFの材料化へのモデルの適用の可能性を示す。
  論文  参考訳（メタデータ） (2023-12-05T18:58:26Z)
• PhotoMat: A Material Generator Learned from Single Flash Photos [37.42765147463852]
  既存の材料生成モデルは、合成データにのみ訓練されている。 私たちは、携帯電話カメラとフラッシュで撮影したサンプルの実際の写真に特化して訓練された、最初の素材ジェネレータPhotoMatを提案する。 生成した材料は、従来の合成データで訓練された材料ジェネレータよりも視覚的品質がよいことを示す。
  論文  参考訳（メタデータ） (2023-05-20T22:27:41Z)
• OpenRooms: An End-to-End Open Framework for Photorealistic Indoor Scene Datasets [103.54691385842314]
  本研究では,屋内シーンの大規模フォトリアリスティックデータセットを作成するための新しいフレームワークを提案する。 私たちの目標は、データセット作成プロセスを広く利用できるようにすることです。 これにより、逆レンダリング、シーン理解、ロボット工学における重要な応用が可能になる。
  論文  参考訳（メタデータ） (2020-07-25T06:48:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。