論文の概要: Generating Parametric BRDFs from Natural Language Descriptions
- arxiv url: http://arxiv.org/abs/2306.15679v2
- Date: Thu, 14 Sep 2023 12:07:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-15 18:39:57.170047
- Title: Generating Parametric BRDFs from Natural Language Descriptions
- Title(参考訳): 自然言語記述からのパラメトリックBRDFの生成
- Authors: Sean Memery, Osmar Cedron, Kartic Subr
- Abstract要約: 記述的プロンプトから双方向反射分布関数を生成するモデルを開発した。
BRDFは、光と表面物質との相互作用を特徴付ける4次元の確率分布である。
我々のモデルは、教師なしスキームによってチューニングされる前に、まず半教師なしアプローチを用いて訓練される。
- 参考スコア(独自算出の注目度): 1.1847636087764204
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artistic authoring of 3D environments is a laborious enterprise that also
requires skilled content creators. There have been impressive improvements in
using machine learning to address different aspects of generating 3D content,
such as generating meshes, arranging geometry, synthesizing textures, etc. In
this paper we develop a model to generate Bidirectional Reflectance
Distribution Functions (BRDFs) from descriptive textual prompts. BRDFs are four
dimensional probability distributions that characterize the interaction of
light with surface materials. They are either represented parametrically, or by
tabulating the probability density associated with every pair of incident and
outgoing angles. The former lends itself to artistic editing while the latter
is used when measuring the appearance of real materials. Numerous works have
focused on hypothesizing BRDF models from images of materials. We learn a
mapping from textual descriptions of materials to parametric BRDFs. Our model
is first trained using a semi-supervised approach before being tuned via an
unsupervised scheme. Although our model is general, in this paper we
specifically generate parameters for MDL materials, conditioned on natural
language descriptions, within NVIDIA's Omniverse platform. This enables use
cases such as real-time text prompts to change materials of objects in 3D
environments such as "dull plastic" or "shiny iron". Since the output of our
model is a parametric BRDF, rather than an image of the material, it may be
used to render materials using any shape under arbitrarily specified viewing
and lighting conditions.
- Abstract(参考訳): 3d環境の芸術的オーサリングは、熟練したコンテンツ制作者も必要である。
メッシュの生成、幾何学の配置、テクスチャの合成など、3Dコンテンツ生成のさまざまな側面に機械学習を使用することで、大幅に改善されている。
本稿では,記述的テキストプロンプトから双方向反射分布関数(BRDF)を生成するモデルを開発する。
BRDFは、光と表面物質との相互作用を特徴付ける4次元の確率分布である。
それらはパラメトリック的に表されるか、または入射角と出射角のペアごとに関連する確率密度を集計することによって表される。
前者は芸術的な編集に力を貸し、後者は実物の外観を測定するのに使われる。
多くの研究がBRDFモデルを材料画像から仮定することに重点を置いている。
我々は,資料のテキスト記述からパラメトリックbrdfへのマッピングを学ぶ。
我々のモデルは、教師なしスキームでチューニングする前に、まず半教師なしアプローチを用いて訓練される。
本論文では, NVIDIA の Omniverse プラットフォーム内で, 自然言語記述を前提とした MDL 資料のパラメータを特に生成する。
これにより、リアルタイムテキストのようなユースケースでは、"dull plastic"や"shiny iron"といった3D環境のオブジェクトの素材を変更することができる。
本モデルの出力は材料の画像ではなくパラメトリックbrdfであるため、任意の表示や照明条件下で任意の形状の材料をレンダリングするのに使用できる。
関連論文リスト
- L3GO: Language Agents with Chain-of-3D-Thoughts for Generating
Unconventional Objects [53.4874127399702]
本稿では,3Dメッシュ生成を推論可能な3Dメッシュ生成手法であるL3GO(チェーン・オブ・3D思想)を用いた言語エージェントを提案する。
我々は,新しいベンチマークである Unconventionally Feasible Objects (UFO) と,Blender上に構築されたSimpleBlenv を開発した。
提案手法は,ShapeNet上での3Dメッシュ生成のための標準GPT-4および他の言語エージェントを上回る。
論文 参考訳(メタデータ) (2024-02-14T09:51:05Z) - CG3D: Compositional Generation for Text-to-3D via Gaussian Splatting [57.14748263512924]
CG3Dは、スケーラブルな3Dアセットを合成的に生成する手法である。
ガンマ放射場は、オブジェクトの合成を可能にするためにパラメータ化され、意味的および物理的に一貫したシーンを可能にする能力を持っている。
論文 参考訳(メタデータ) (2023-11-29T18:55:38Z) - Material Palette: Extraction of Materials from a Single Image [19.410479434979493]
実世界の1つの画像から物理ベースレンダリング(PBR)素材を抽出する手法を提案する。
画像の領域を拡散モデルを用いて物質概念にマッピングし、シーン内の各材料に類似したテクスチャ画像のサンプリングを可能にする。
第二に、生成したテクスチャを空間変数BRDFに分解する別のネットワークの恩恵を受ける。
論文 参考訳(メタデータ) (2023-11-28T18:59:58Z) - MATLABER: Material-Aware Text-to-3D via LAtent BRDF auto-EncodeR [29.96046140529936]
BRDF自動エンコーダ(textbfMATLABER)を用いたマテリアル・アウェア・テキスト・トゥ・3Dを提案する。
我々は,この自動エンコーダを大規模実世界のBRDFコレクションで訓練し,その潜在空間の滑らかさを確保する。
提案手法は, 現実的かつ一貫性のある物質を生成する上で, 既存の物質よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-18T03:40:38Z) - Differentiable Blocks World: Qualitative 3D Decomposition by Rendering
Primitives [70.32817882783608]
本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。
既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。
得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
論文 参考訳(メタデータ) (2023-07-11T17:58:31Z) - TAPS3D: Text-Guided 3D Textured Shape Generation from Pseudo Supervision [114.56048848216254]
テキスト誘導型3次元形状生成器を疑似キャプションで訓練するための新しいフレームワークTAPS3Dを提案する。
レンダリングされた2D画像に基づいて,CLIP語彙から関連する単語を検索し,テンプレートを用いて擬似キャプションを構築する。
構築したキャプションは、生成された3次元形状の高レベルなセマンティック管理を提供する。
論文 参考訳(メタデータ) (2023-03-23T13:53:16Z) - One-shot recognition of any material anywhere using contrastive learning
with physics-based rendering [0.0]
材料とテクスチャ間の類似点と遷移点をコンピュータビジョンで認識するための合成データセットMateSim、ベンチマーク、および方法を提案する。
食材を視覚的に認識することは、調理中に食品を調べること、農業、化学、工業製品を調べることなど、あらゆることに不可欠である。
論文 参考訳(メタデータ) (2022-12-01T16:49:53Z) - GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。
3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。
実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
論文 参考訳(メタデータ) (2022-06-18T16:58:49Z) - Diffuse Map Guiding Unsupervised Generative Adversarial Network for
SVBRDF Estimation [0.21756081703276003]
本稿では,GAN(Generative Adversarial Network)に基づく拡散マップ誘導材料推定手法を提案する。
本手法では,携帯電話で撮影した少数の画像のみを用いて,グローバルな特徴を持つ可塑性SVBRDFマップを予測できる。
論文 参考訳(メタデータ) (2022-05-24T10:32:27Z) - Generative Modelling of BRDF Textures from Flash Images [50.660026124025265]
我々は、容易にキャプチャ、セマンティックな編集、一貫した、視覚素材の外観の効率よく再現できる潜在空間を学習する。
2番目のステップでは、材料コードに基づいて、私たちの方法は、BRDFモデルパラメータの無限で多様な空間フィールドを生成します。
論文 参考訳(メタデータ) (2021-02-23T18:45:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。