論文の概要: Zero-Shot Text-Guided Object Generation with Dream Fields

• arxiv url: http://arxiv.org/abs/2112.01455v1
• Date: Thu, 2 Dec 2021 17:53:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-03 18:58:03.493849
• Title: Zero-Shot Text-Guided Object Generation with Dream Fields
• Title（参考訳）: ドリームフィールドを用いたゼロショットテキストガイドオブジェクト生成
• Authors: Ajay Jain, Ben Mildenhall, Jonathan T. Barron, Pieter Abbeel, Ben Poole
• Abstract要約: ニューラルレンダリングとマルチモーダル画像とテキスト表現を組み合わせることで、多様な3Dオブジェクトを合成する。 提案手法であるドリームフィールドは,3次元の監督なしに広範囲の物体の形状と色を生成できる。 実験では、ドリーム・フィールズ(Dream Fields)は、様々な自然言語のキャプションから、現実的で多視点で一貫したオブジェクトの幾何学と色を作り出す。
• 参考スコア（独自算出の注目度）: 111.06026544180398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We combine neural rendering with multi-modal image and text representations to synthesize diverse 3D objects solely from natural language descriptions. Our method, Dream Fields, can generate the geometry and color of a wide range of objects without 3D supervision. Due to the scarcity of diverse, captioned 3D data, prior methods only generate objects from a handful of categories, such as ShapeNet. Instead, we guide generation with image-text models pre-trained on large datasets of captioned images from the web. Our method optimizes a Neural Radiance Field from many camera views so that rendered images score highly with a target caption according to a pre-trained CLIP model. To improve fidelity and visual quality, we introduce simple geometric priors, including sparsity-inducing transmittance regularization, scene bounds, and new MLP architectures. In experiments, Dream Fields produce realistic, multi-view consistent object geometry and color from a variety of natural language captions.
• Abstract（参考訳）: ニューラルレンダリングとマルチモーダル画像とテキスト表現を組み合わせることで,自然言語表現のみから多様な3dオブジェクトを合成する。 提案手法であるドリームフィールドは,3次元の監督なしに広範囲の物体の形状と色を生成できる。 多様なキャプション付き3Dデータの不足のため、以前のメソッドはShapeNetのようないくつかのカテゴリからオブジェクトのみを生成する。 代わりに、ウェブからキャプションされた画像の大きなデータセットで事前訓練された画像テキストモデルを用いて生成をガイドする。 提案手法は,多くのカメラビューからニューラルレージアンスフィールドを最適化し,事前学習したCLIPモデルに従って,画像のレンダリングをターゲットキャプションで高いスコアで評価する。 忠実度と視覚的品質を改善するために,空間性誘導透過率正則化,シーン境界,新しいMLPアーキテクチャなど,単純な幾何学的先行手法を導入する。 実験において、ドリームフィールドは様々な自然言語キャプションから写実的で多視点の一貫したオブジェクト幾何学と色を作り出す。

関連論文リスト

• ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [65.22994156658918]
  実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。 我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
  論文  参考訳（メタデータ） (2024-03-04T07:57:05Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• TeMO: Towards Text-Driven 3D Stylization for Multi-Object Meshes [67.5351491691866]
  我々は,多目的3Dシーンを解析し,そのスタイルを編集する,TeMOと呼ばれる新しいフレームワークを提案する。 提案手法は,高品質なスタイリングコンテンツを合成し,多目的3Dメッシュで既存手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-12-07T12:10:05Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• Text2NeRF: Text-Driven 3D Scene Generation with Neural Radiance Fields [29.907615852310204]
  テキストプロンプトから多種多様な3Dシーンを生成できるText2NeRFを提案する。 本手法では,追加のトレーニングデータを必要としないが,入力としてシーンを自然言語で記述するのみである。
  論文  参考訳（メタデータ） (2023-05-19T10:58:04Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• DreamBooth3D: Subject-Driven Text-to-3D Generation [43.14506066034495]
  そこで,DreamBooth3Dを提案する。DreamBooth3Dは,テキストから3Dへの生成モデルを3～6個の画像からパーソナライズする手法である。 これらの手法を鼻で組み合わせると、被験者の入力視点に過度に適合するパーソナライズされたテキスト・ツー・イメージ・モデルにより、満足のいく主題固有の3Dアセットが得られないことがわかった。 提案手法は,新規なポーズ,色,属性などのテキスト操作によって,被験者の入力画像にない高品質な3Dアセットを作成できる。
  論文  参考訳（メタデータ） (2023-03-23T17:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。