論文の概要: Sketch2NeRF: Multi-view Sketch-guided Text-to-3D Generation

• arxiv url: http://arxiv.org/abs/2401.14257v1
• Date: Thu, 25 Jan 2024 15:49:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 14:07:40.464407
• Title: Sketch2NeRF: Multi-view Sketch-guided Text-to-3D Generation
• Title（参考訳）: Sketch2NeRF:マルチビューのSketch-Guided Text-to-3D ジェネレーション
• Authors: Minglin Chen and Longguang Wang and Weihao Yuan and Yukun Wang and Zhe Sheng and Yisheng He and Zilong Dong and Liefeng Bo and Yulan Guo
• Abstract要約: スケッチ誘導型テキストから3D生成フレームワーク(Sketch2NeRF)を提案し、3D生成にスケッチ制御を追加する。 本手法は,スケッチの類似性やテキストアライメントの観点から,最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 45.030356961892956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, text-to-3D approaches have achieved high-fidelity 3D content generation using text description. However, the generated objects are stochastic and lack fine-grained control. Sketches provide a cheap approach to introduce such fine-grained control. Nevertheless, it is challenging to achieve flexible control from these sketches due to their abstraction and ambiguity. In this paper, we present a multi-view sketch-guided text-to-3D generation framework (namely, Sketch2NeRF) to add sketch control to 3D generation. Specifically, our method leverages pretrained 2D diffusion models (e.g., Stable Diffusion and ControlNet) to supervise the optimization of a 3D scene represented by a neural radiance field (NeRF). We propose a novel synchronized generation and reconstruction method to effectively optimize the NeRF. In the experiments, we collected two kinds of multi-view sketch datasets to evaluate the proposed method. We demonstrate that our method can synthesize 3D consistent contents with fine-grained sketch control while being high-fidelity to text prompts. Extensive results show that our method achieves state-of-the-art performance in terms of sketch similarity and text alignment.
• Abstract（参考訳）: 近年,テキスト記述を用いた高忠実度3Dコンテンツ生成を実現している。 しかし、生成されたオブジェクトは確率的であり、きめ細かい制御がない。 スケッチは、そのような細かい制御を導入するための安価なアプローチを提供する。 それでも、これらのスケッチの抽象化と曖昧さのため、柔軟な制御を実現することは困難である。 本稿では,3d生成にスケッチ制御を追加するために,マルチビューのスケッチガイド付きテキストから3d生成フレームワーク(sketch2nerf)を提案する。 具体的には、トレーニング済みの2次元拡散モデル(例えば、安定拡散と制御ネット)を利用して、ニューラル放射場(NeRF)で表される3次元シーンの最適化を監督する。 我々は、NeRFを効果的に最適化するための新しい同期生成と再構成手法を提案する。 実験では,提案手法を評価するために,2種類のマルチビュースケッチデータセットを収集した。 本手法は,テキストプロンプトに高忠実さを保ちながら,微細なスケッチ制御により3次元一貫したコンテンツを合成できることを実証する。 その結果,スケッチの類似性やテキストのアライメントの観点から,最先端の性能が得られた。

関連論文リスト

• Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
  本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。 3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
  論文  参考訳（メタデータ） (2024-04-02T11:03:24Z)
• Sketch2Prototype: Rapid Conceptual Design Exploration and Prototyping with Generative AI [3.936104238911733]
  Sketch2Prototypeは、手描きのスケッチを多種多様な2D画像と3Dプロトタイプに変換するAIベースのフレームワークである。 テキストを中間モダリティとして用いることで、多種多様な製造可能な3Dモデルを生成するために、直接スケッチから3Dのベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-03-26T02:12:17Z)
• Doodle Your 3D: From Abstract Freehand Sketches to Precise 3D Shapes [118.406721663244]
  本稿では,抽象モデリングとクロスモーダル対応を容易にする,新しい部分レベルモデリング・アライメントフレームワークを提案する。 提案手法は,CLIPassoエッジマップと投影された3次元部分領域との対応性を確立することで,スケッチモデリングにシームレスに拡張する。
  論文  参考訳（メタデータ） (2023-12-07T05:04:33Z)
• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• Control3D: Towards Controllable Text-to-3D Generation [107.81136630589263]
  本稿では,手書きスケッチ,すなわちコントロール3Dについてテキストから3D生成条件を提案する。 2次元条件付き拡散モデル(ControlNet)を再構成し、NeRFとしてパラメータ化された3次元シーンの学習を誘導する。 合成3Dシーン上での描画画像のスケッチを直接推定するために,事前学習可能なフォト・ツー・スケッチ・モデルを利用する。
  論文  参考訳（メタデータ） (2023-11-09T15:50:32Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• SKED: Sketch-guided Text-based 3D Editing [49.019881133348775]
  我々は,NeRFで表される3次元形状を編集する技術であるSKEDを提案する。 我々の手法は、異なる視点からの2つのガイドスケッチを使用して、既存のニューラルネットワークを変化させる。 本稿では,ベースインスタンスの密度と放射率を保ちつつ,所望の編集を生成する新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-19T18:40:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。