論文の概要: MatCLIP: Light- and Shape-Insensitive Assignment of PBR Material Models

• arxiv url: http://arxiv.org/abs/2501.15981v1
• Date: Mon, 27 Jan 2025 12:08:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 21:57:03.916309
• Title: MatCLIP: Light- and Shape-Insensitive Assignment of PBR Material Models
• Title（参考訳）: MatCLIP:PBR材料モデルの光・形状非感受性アサインメント
• Authors: Michael Birsak, John Femiani, Biao Zhang, Peter Wonka,
• Abstract要約: MatCLIPは、PBR材料の形状や光に敏感な記述子を抽出し、画像に基づいて可塑性テクスチャを3Dオブジェクトに割り当てる新しい手法である。 そこで本研究では,PBR表現の領域を写真や描画でブリッジする記述子を生成する。 MatCLIPの分類精度は76.6%で、PhotoShapeやMatAtlasのような最先端の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 42.42328559042189
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Assigning realistic materials to 3D models remains a significant challenge in computer graphics. We propose MatCLIP, a novel method that extracts shape- and lighting-insensitive descriptors of Physically Based Rendering (PBR) materials to assign plausible textures to 3D objects based on images, such as the output of Latent Diffusion Models (LDMs) or photographs. Matching PBR materials to static images is challenging because the PBR representation captures the dynamic appearance of materials under varying viewing angles, shapes, and lighting conditions. By extending an Alpha-CLIP-based model on material renderings across diverse shapes and lighting, and encoding multiple viewing conditions for PBR materials, our approach generates descriptors that bridge the domains of PBR representations with photographs or renderings, including LDM outputs. This enables consistent material assignments without requiring explicit knowledge of material relationships between different parts of an object. MatCLIP achieves a top-1 classification accuracy of 76.6%, outperforming state-of-the-art methods such as PhotoShape and MatAtlas by over 15 percentage points on publicly available datasets. Our method can be used to construct material assignments for 3D shape datasets such as ShapeNet, 3DCoMPaT++, and Objaverse. All code and data will be released.
• Abstract（参考訳）: 3Dモデルに現実的な素材を割り当てることは、コンピュータグラフィックスにおいて依然として大きな課題である。 本研究では,PBR(Physical Based Rendering)素材の形状や光に敏感な記述子を抽出し,画像に基づく3Dオブジェクトに可塑性テクスチャを割り当てる手法であるMatCLIPを提案する。 PBR表現は、様々な視角、形状、照明条件下での材料の動的外観を捉えているため、静的画像にPBR材料をマッチングすることは困難である。 様々な形状や照明にまたがる素材レンダリングのAlpha-CLIPモデルを拡張し,PBR素材の複数の表示条件を符号化することにより,本手法は,写真や描画を含むPBR表現の領域をLDM出力を含むブリッジするディスクリプタを生成する。 これにより、オブジェクトの異なる部分間の物質関係の明示的な知識を必要とせずに、一貫した物質割り当てが可能になる。 MatCLIPの分類精度は76.6%で、PhotoShapeやMatAtlasのような最先端の手法よりも15%以上高い。 本研究では,ShapeNet,3DCoMPaT++,Objaverseなどの3次元形状データセットの素材割り当てを行う。 すべてのコードとデータがリリースされる。

関連論文リスト

• IntrinsiX: High-Quality PBR Generation using Image Priors [49.90007540430264]
  IntrinsiXはテキスト記述から高品質な内在画像を生成する新しい手法である。 シーンライティングを内蔵した既存のテキスト・ツー・イメージモデルとは対照的に,本手法では物理ベースのレンダリング(PBR)マップを推定する。
  論文  参考訳（メタデータ） (2025-04-01T17:47:48Z)
• PBR3DGen: A VLM-guided Mesh Generation with High-quality PBR Texture [9.265778497001843]
  高品質なPBR材料を用いた2段階メッシュ生成法であるPBR3DGenを提案する。 視覚言語モデル(VLM)を用いて多視点拡散を誘導し,反射金属材料の空間分布と特性を正確に把握する。 我々の復元モデルはPBR材料で高品質なメッシュを再構築する。
  論文  参考訳（メタデータ） (2025-03-14T13:11:19Z)
• MaterialMVP: Illumination-Invariant Material Generation via Multi-view PBR Diffusion [37.596740171045845]
  物理ベースのレンダリング(PBR)は現代のコンピュータグラフィックスの基盤となり、3Dシーンにおける現実的な物質表現と照明相互作用を可能にしている。 本稿では3次元メッシュと画像プロンプトからPBRテクスチャを生成するための新しいエンド・ツー・エンドモデルを提案する。
  論文  参考訳（メタデータ） (2025-03-13T11:57:30Z)
• IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations [64.07859467542664]
  画像から幾何学的および物質的情報をキャプチャすることは、コンピュータビジョンとグラフィックスの基本的な課題である。 従来の最適化に基づく手法では、密集した多視点入力から幾何学、材料特性、環境照明を再構築するために数時間の計算時間を必要とすることが多い。 IDArbは、様々な照明条件下で、任意の画像に対して本質的な分解を行うために設計された拡散モデルである。
  論文  参考訳（メタデータ） (2024-12-16T18:52:56Z)
• Boosting 3D Object Generation through PBR Materials [32.732511476490316]
  物理ベースレンダリング(PBR)材料の観点から,生成した3Dオブジェクトの品質を高める新しい手法を提案する。 アルベドやバンプマップでは、合成データに微調整された安定拡散を利用してこれらの値を抽出する。 粗さと金属度マップについては,対話的な調整を行うためのセミオートマチックなプロセスを採用する。
  論文  参考訳（メタデータ） (2024-11-25T04:20:52Z)
• OpenMaterial: A Comprehensive Dataset of Complex Materials for 3D Reconstruction [54.706361479680055]
  295個の異なる材料からなる1001個のオブジェクトからなるOpenMaterialデータセットを紹介した。 OpenMaterialは3D形状、マテリアルタイプ、カメラポーズ、深さ、オブジェクトマスクなど、包括的なアノテーションを提供する。 これは、多様で挑戦的な材料を持つオブジェクト上で、既存のアルゴリズムの定量的評価を可能にする最初の大規模データセットである。
  論文  参考訳（メタデータ） (2024-06-13T07:46:17Z)
• MaPa: Text-driven Photorealistic Material Painting for 3D Shapes [80.66880375862628]
  本稿では,テキスト記述から3次元メッシュの材料を作成することを目的とする。 テクスチャマップを合成する既存の方法とは異なり、我々はセグメントワイドな手続き的な材料グラフを生成することを提案する。 我々のフレームワークは高品質なレンダリングをサポートし、編集にかなりの柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-26T17:54:38Z)
• Generating Parametric BRDFs from Natural Language Descriptions [1.1847636087764204]
  記述的プロンプトから双方向反射分布関数を生成するモデルを開発した。 BRDFは、光と表面物質との相互作用を特徴付ける4次元の確率分布である。 我々のモデルは、教師なしスキームによってチューニングされる前に、まず半教師なしアプローチを用いて訓練される。
  論文  参考訳（メタデータ） (2023-06-19T15:35:19Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。