論文の概要: MatSpray: Fusing 2D Material World Knowledge on 3D Geometry

• arxiv url: http://arxiv.org/abs/2512.18314v1
• Date: Sat, 20 Dec 2025 10:58:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.285577
• Title: MatSpray: Fusing 2D Material World Knowledge on 3D Geometry
• Title（参考訳）: MatSpray:3D幾何学に関する2Dマテリアルワールドの知識を融合させる
• Authors: Philipp Langsteiner, Jan-Niklas Dihlmann, Hendrik P. A. Lensch,
• Abstract要約: 本稿では,新しい学習手法と投影手法を組み合わせた3次元形状に2次元素材データを融合する枠組みを提案する。 その結果,提案手法は,定量的メトリクスと知覚的視覚リアリズムの両方において,既存の手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 7.4570191712029965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Manual modeling of material parameters and 3D geometry is a time consuming yet essential task in the gaming and film industries. While recent advances in 3D reconstruction have enabled accurate approximations of scene geometry and appearance, these methods often fall short in relighting scenarios due to the lack of precise, spatially varying material parameters. At the same time, diffusion models operating on 2D images have shown strong performance in predicting physically based rendering (PBR) properties such as albedo, roughness, and metallicity. However, transferring these 2D material maps onto reconstructed 3D geometry remains a significant challenge. We propose a framework for fusing 2D material data into 3D geometry using a combination of novel learning-based and projection-based approaches. We begin by reconstructing scene geometry via Gaussian Splatting. From the input images, a diffusion model generates 2D maps for albedo, roughness, and metallic parameters. Any existing diffusion model that can convert images or videos to PBR materials can be applied. The predictions are further integrated into the 3D representation either by optimizing an image-based loss or by directly projecting the material parameters onto the Gaussians using Gaussian ray tracing. To enhance fine-scale accuracy and multi-view consistency, we further introduce a light-weight neural refinement step (Neural Merger), which takes ray-traced material features as input and produces detailed adjustments. Our results demonstrate that the proposed methods outperform existing techniques in both quantitative metrics and perceived visual realism. This enables more accurate, relightable, and photorealistic renderings from reconstructed scenes, significantly improving the realism and efficiency of asset creation workflows in content production pipelines.
• Abstract（参考訳）: 物質パラメーターと3次元幾何学のマニュアルモデリングは、ゲームや映画産業において必要不可欠な作業である。 近年の3次元再構成技術により、シーンの形状や外観の正確な近似が可能になったが、正確な空間的パラメータの欠如により、これらの手法はリライティングのシナリオにおいて不足することが多い。 同時に、2次元画像上での拡散モデルは、アルベド、粗さ、金属性などの物理ベースレンダリング(PBR)特性を予測する上で強い性能を示した。 しかし、これらの2次元マテリアルマップを再構成された3次元幾何学に転送することは大きな課題である。 本稿では,新しい学習手法と投影手法を組み合わせた3次元形状に2次元素材データを融合する枠組みを提案する。 まず、ガウススプラッティングによるシーン幾何学の再構築から始める。 入力画像から,拡散モデルによりアルベド,粗さ,金属パラメータの2次元マップを生成する。 画像やビデオをPBR材料に変換することができる既存の拡散モデルを適用することができる。 これらの予測は、画像に基づく損失を最適化するか、ガウス線トレーシングを用いてガウスに物質パラメータを直接投影することにより、さらに3D表現に統合される。 微細な精度とマルチビューの整合性を高めるため,我々はさらに,レイトレーシング材料の特徴を入力とし,詳細な調整を行う軽量なニューラルリファインメントステップ(ニューラルマージャー)を導入する。 その結果,提案手法は,定量的メトリクスと知覚的視覚リアリズムの両方において,既存の手法よりも優れていることが示された。 これにより、再構成されたシーンからのより正確で、面白く、フォトリアリスティックなレンダリングが可能になり、コンテンツ制作パイプラインにおけるアセット作成ワークフローのリアリズムと効率を大幅に改善する。

関連論文リスト

• MatDecompSDF: High-Fidelity 3D Shape and PBR Material Decomposition from Multi-View Images [20.219010684946888]
  MatDecompSDFは、高忠実度3D形状を復元し、その物理的特性を多視点画像から分解するフレームワークである。 本手法は,標準のグラフィックスパイプラインにシームレスに統合可能な,編集可能で再生可能なアセットを生成する。
  論文  参考訳（メタデータ） (2025-07-07T08:22:32Z)
• Geometry and Perception Guided Gaussians for Multiview-consistent 3D Generation from a Single Image [10.648593818811976]
  既存のアプローチはしばしば、微調整された事前訓練された2D拡散モデルや、高速ネットワーク推論を通じて直接3D情報を生成することに依存している。 本稿では,新たなモデルトレーニングを必要とせず,幾何学と知覚情報をシームレスに統合する新しい手法を提案する。 実験結果から,新しい視点合成法や3次元再構成法よりも優れ,頑健で一貫した3次元オブジェクト生成を実証した。
  論文  参考訳（メタデータ） (2025-06-26T11:22:06Z)
• EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
  既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。 本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
  論文  参考訳（メタデータ） (2025-03-26T02:47:27Z)
• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
  3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。 多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。 競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:21:24Z)
• GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
  単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。 本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。 実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
  論文  参考訳（メタデータ） (2024-03-15T12:24:36Z)
• GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
  GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。 3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。 実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2022-06-18T16:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。