論文の概要: MatCLIP: Light- and Shape-Insensitive Assignment of PBR Material Models

• arxiv url: http://arxiv.org/abs/2501.15981v1
• Date: Mon, 27 Jan 2025 12:08:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:57:45.422821
• Title: MatCLIP: Light- and Shape-Insensitive Assignment of PBR Material Models
• Title（参考訳）: MatCLIP:PBR材料モデルの光・形状非感受性アサインメント
• Authors: Michael Birsak, John Femiani, Biao Zhang, Peter Wonka,
• Abstract要約: MatCLIPは、PBR材料の形状や光に敏感な記述子を抽出し、画像に基づいて可塑性テクスチャを3Dオブジェクトに割り当てる新しい手法である。 そこで本研究では,PBR表現の領域を写真や描画でブリッジする記述子を生成する。 MatCLIPの分類精度は76.6%で、PhotoShapeやMatAtlasのような最先端の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 42.42328559042189
• License:
• Abstract: Assigning realistic materials to 3D models remains a significant challenge in computer graphics. We propose MatCLIP, a novel method that extracts shape- and lighting-insensitive descriptors of Physically Based Rendering (PBR) materials to assign plausible textures to 3D objects based on images, such as the output of Latent Diffusion Models (LDMs) or photographs. Matching PBR materials to static images is challenging because the PBR representation captures the dynamic appearance of materials under varying viewing angles, shapes, and lighting conditions. By extending an Alpha-CLIP-based model on material renderings across diverse shapes and lighting, and encoding multiple viewing conditions for PBR materials, our approach generates descriptors that bridge the domains of PBR representations with photographs or renderings, including LDM outputs. This enables consistent material assignments without requiring explicit knowledge of material relationships between different parts of an object. MatCLIP achieves a top-1 classification accuracy of 76.6%, outperforming state-of-the-art methods such as PhotoShape and MatAtlas by over 15 percentage points on publicly available datasets. Our method can be used to construct material assignments for 3D shape datasets such as ShapeNet, 3DCoMPaT++, and Objaverse. All code and data will be released.
• Abstract（参考訳）: 3Dモデルに現実的な素材を割り当てることは、コンピュータグラフィックスにおいて依然として大きな課題である。 本研究では,PBR(Physical Based Rendering)素材の形状や光に敏感な記述子を抽出し,画像に基づく3Dオブジェクトに可塑性テクスチャを割り当てる手法であるMatCLIPを提案する。 PBR表現は、様々な視角、形状、照明条件下での材料の動的外観を捉えているため、静的画像にPBR材料をマッチングすることは困難である。 様々な形状や照明にまたがる素材レンダリングのAlpha-CLIPモデルを拡張し,PBR素材の複数の表示条件を符号化することにより,本手法は,写真や描画を含むPBR表現の領域をLDM出力を含むブリッジするディスクリプタを生成する。 これにより、オブジェクトの異なる部分間の物質関係の明示的な知識を必要とせずに、一貫した物質割り当てが可能になる。 MatCLIPの分類精度は76.6%で、PhotoShapeやMatAtlasのような最先端の手法よりも15%以上高い。 本研究では,ShapeNet,3DCoMPaT++,Objaverseなどの3次元形状データセットの素材割り当てを行う。 すべてのコードとデータがリリースされる。

関連論文リスト

• Boosting 3D Object Generation through PBR Materials [32.732511476490316]
  物理ベースレンダリング(PBR)材料の観点から,生成した3Dオブジェクトの品質を高める新しい手法を提案する。 アルベドやバンプマップでは、合成データに微調整された安定拡散を利用してこれらの値を抽出する。 粗さと金属度マップについては,対話的な調整を行うためのセミオートマチックなプロセスを採用する。
  論文  参考訳（メタデータ） (2024-11-25T04:20:52Z)
• OpenMaterial: A Comprehensive Dataset of Complex Materials for 3D Reconstruction [54.706361479680055]
  295個の異なる材料からなる1001個のオブジェクトからなるOpenMaterialデータセットを紹介した。 OpenMaterialは3D形状、マテリアルタイプ、カメラポーズ、深さ、オブジェクトマスクなど、包括的なアノテーションを提供する。 これは、多様で挑戦的な材料を持つオブジェクト上で、既存のアルゴリズムの定量的評価を可能にする最初の大規模データセットである。
  論文  参考訳（メタデータ） (2024-06-13T07:46:17Z)
• MaPa: Text-driven Photorealistic Material Painting for 3D Shapes [80.66880375862628]
  本稿では,テキスト記述から3次元メッシュの材料を作成することを目的とする。 テクスチャマップを合成する既存の方法とは異なり、我々はセグメントワイドな手続き的な材料グラフを生成することを提案する。 我々のフレームワークは高品質なレンダリングをサポートし、編集にかなりの柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-26T17:54:38Z)
• MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets [63.284244910964475]
  本稿では,2次元のセマンティクスから基礎となる物質を推定する3次元アセット素材生成フレームワークを提案する。 このような先行モデルに基づいて,材料を三次元空間で解析する機構を考案する。
  論文  参考訳（メタデータ） (2024-04-22T07:00:17Z)
• IntrinsicAnything: Learning Diffusion Priors for Inverse Rendering Under Unknown Illumination [37.96484120807323]
  本稿では,未知の静止照明条件下で撮影されたポーズ画像から対象物質を回収することを目的とする。 我々は、最適化プロセスの正規化のための生成モデルを用いて、その材料を事前に学習する。 実世界および合成データセットを用いた実験により,本手法が材料回収における最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-04-17T17:45:08Z)
• Alchemist: Parametric Control of Material Properties with Diffusion Models [51.63031820280475]
  本手法は,フォトリアリズムで知られているテキスト・イメージ・モデルの生成先行に乗じる。 我々は,NeRFの材料化へのモデルの適用の可能性を示す。
  論文  参考訳（メタデータ） (2023-12-05T18:58:26Z)
• Material Palette: Extraction of Materials from a Single Image [19.410479434979493]
  実世界の1つの画像から物理ベースレンダリング(PBR)素材を抽出する手法を提案する。 画像の領域を拡散モデルを用いて物質概念にマッピングし、シーン内の各材料に類似したテクスチャ画像のサンプリングを可能にする。 第二に、生成したテクスチャを空間変数BRDFに分解する別のネットワークの恩恵を受ける。
  論文  参考訳（メタデータ） (2023-11-28T18:59:58Z)
• Generating Parametric BRDFs from Natural Language Descriptions [1.1847636087764204]
  記述的プロンプトから双方向反射分布関数を生成するモデルを開発した。 BRDFは、光と表面物質との相互作用を特徴付ける4次元の確率分布である。 我々のモデルは、教師なしスキームによってチューニングされる前に、まず半教師なしアプローチを用いて訓練される。
  論文  参考訳（メタデータ） (2023-06-19T15:35:19Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。