論文の概要: Generating Parametric BRDFs from Natural Language Descriptions

• arxiv url: http://arxiv.org/abs/2306.15679v1
• Date: Mon, 19 Jun 2023 15:35:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-02 13:16:35.206115
• Title: Generating Parametric BRDFs from Natural Language Descriptions
• Title（参考訳）: 自然言語記述からのパラメトリックBRDFの生成
• Authors: Sean Memery, Osmar Cedron, Kartic Subr
• Abstract要約: 記述的プロンプトから双方向反射分布関数を生成するモデルを開発した。 BRDFは、光と表面物質との相互作用を特徴付ける4次元の確率分布である。 我々のモデルは、教師なしスキームによってチューニングされる前に、まず半教師なしアプローチを用いて訓練される。
• 参考スコア（独自算出の注目度）: 1.3836565669337055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artistic authoring of 3D environments is a laborious enterprise that also requires skilled content creators. There have been impressive improvements in using machine learning to address different aspects of generating 3D content, such as generating meshes, arranging geometry, synthesizing textures, etc. In this paper we develop a model to generate Bidirectional Reflectance Distribution Functions (BRDFs) from descriptive textual prompts. BRDFs are four dimensional probability distributions that characterize the interaction of light with surface materials. They are either represented parametrically, or by tabulating the probability density associated with every pair of incident and outgoing angles. The former lends itself to artistic editing while the latter is used when measuring the appearance of real materials. Numerous works have focused on hypothesizing BRDF models from images of materials. We learn a mapping from textual descriptions of materials to parametric BRDFs. Our model is first trained using a semi-supervised approach before being tuned via an unsupervised scheme. Although our model is general, in this paper we specifically generate parameters for MDL materials, conditioned on natural language descriptions, within NVIDIA's Omniverse platform. This enables use cases such as real-time text prompts to change materials of objects in 3D environments such as "dull plastic" or "shiny iron". Since the output of our model is a parametric BRDF, rather than an image of the material, it may be used to render materials using any shape under arbitrarily specified viewing and lighting conditions.
• Abstract（参考訳）: 3d環境の芸術的オーサリングは、熟練したコンテンツ制作者も必要である。 メッシュの生成、幾何学の配置、テクスチャの合成など、3Dコンテンツ生成のさまざまな側面に機械学習を使用することで、大幅に改善されている。 本稿では,記述的テキストプロンプトから双方向反射分布関数(BRDF)を生成するモデルを開発する。 BRDFは、光と表面物質との相互作用を特徴付ける4次元の確率分布である。 それらはパラメトリック的に表されるか、または入射角と出射角のペアごとに関連する確率密度を集計することによって表される。 前者は芸術的な編集に力を貸し、後者は実物の外観を測定するのに使われる。 多くの研究がBRDFモデルを材料画像から仮定することに重点を置いている。 我々は,資料のテキスト記述からパラメトリックbrdfへのマッピングを学ぶ。 我々のモデルは、教師なしスキームでチューニングする前に、まず半教師なしアプローチを用いて訓練される。 本論文では, NVIDIA の Omniverse プラットフォーム内で, 自然言語記述を前提とした MDL 資料のパラメータを特に生成する。 これにより、リアルタイムテキストのようなユースケースでは、"dull plastic"や"shiny iron"といった3D環境のオブジェクトの素材を変更することができる。 本モデルの出力は材料の画像ではなくパラメトリックbrdfであるため、任意の表示や照明条件下で任意の形状の材料をレンダリングするのに使用できる。

関連論文リスト

• Boosting 3D Object Generation through PBR Materials [32.732511476490316]
  物理ベースレンダリング(PBR)材料の観点から,生成した3Dオブジェクトの品質を高める新しい手法を提案する。 アルベドやバンプマップでは、合成データに微調整された安定拡散を利用してこれらの値を抽出する。 粗さと金属度マップについては,対話的な調整を行うためのセミオートマチックなプロセスを採用する。
  論文  参考訳（メタデータ） (2024-11-25T04:20:52Z)
• MaPa: Text-driven Photorealistic Material Painting for 3D Shapes [80.66880375862628]
  本稿では,テキスト記述から3次元メッシュの材料を作成することを目的とする。 テクスチャマップを合成する既存の方法とは異なり、我々はセグメントワイドな手続き的な材料グラフを生成することを提案する。 我々のフレームワークは高品質なレンダリングをサポートし、編集にかなりの柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-26T17:54:38Z)
• Make-it-Real: Unleashing Large Multimodal Model for Painting 3D Objects with Realistic Materials [108.59709545364395]
  GPT-4Vは、材料を効果的に認識し、記述することができ、詳細な材料ライブラリを構築することができる。 そして、整合した材料を、新たなSVBRDF材料生成の基準として慎重に適用する。 Make-it-Realは、3Dコンテンツ作成ワークフローに合理化された統合を提供する。
  論文  参考訳（メタデータ） (2024-04-25T17:59:58Z)
• MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets [63.284244910964475]
  本稿では,2次元のセマンティクスから基礎となる物質を推定する3次元アセット素材生成フレームワークを提案する。 このような先行モデルに基づいて,材料を三次元空間で解析する機構を考案する。
  論文  参考訳（メタデータ） (2024-04-22T07:00:17Z)
• Feature Splatting: Language-Driven Physics-Based Scene Synthesis and Editing [11.46530458561589]
  物理に基づく動的シーン合成をリッチなセマンティクスと統合する手法であるFeature Splattingを導入する。 私たちの最初の貢献は、高品質でオブジェクト中心の視覚言語機能を3Dガウスに抽出する方法です。 2つ目の貢献は、粒子ベースのシミュレーターを用いて、他の静的シーンから物理ベースのダイナミクスを合成する方法である。
  論文  参考訳（メタデータ） (2024-04-01T16:31:04Z)
• L3GO: Language Agents with Chain-of-3D-Thoughts for Generating Unconventional Objects [53.4874127399702]
  本稿では,3Dメッシュ生成を推論可能な3Dメッシュ生成手法であるL3GO(チェーン・オブ・3D思想)を用いた言語エージェントを提案する。 我々は,新しいベンチマークである Unconventionally Feasible Objects (UFO) と,Blender上に構築されたSimpleBlenv を開発した。 提案手法は,ShapeNet上での3Dメッシュ生成のための標準GPT-4および他の言語エージェントを上回る。
  論文  参考訳（メタデータ） (2024-02-14T09:51:05Z)
• MATLABER: Material-Aware Text-to-3D via LAtent BRDF auto-EncodeR [29.96046140529936]
  BRDF自動エンコーダ(textbfMATLABER)を用いたマテリアル・アウェア・テキスト・トゥ・3Dを提案する。 我々は,この自動エンコーダを大規模実世界のBRDFコレクションで訓練し,その潜在空間の滑らかさを確保する。 提案手法は, 現実的かつ一貫性のある物質を生成する上で, 既存の物質よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T03:40:38Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• Generative Modelling of BRDF Textures from Flash Images [50.660026124025265]
  我々は、容易にキャプチャ、セマンティックな編集、一貫した、視覚素材の外観の効率よく再現できる潜在空間を学習する。 2番目のステップでは、材料コードに基づいて、私たちの方法は、BRDFモデルパラメータの無限で多様な空間フィールドを生成します。
  論文  参考訳（メタデータ） (2021-02-23T18:45:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。