論文の概要: 3D Paintbrush: Local Stylization of 3D Shapes with Cascaded Score Distillation

• arxiv url: http://arxiv.org/abs/2311.09571v1
• Date: Thu, 16 Nov 2023 05:13:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 16:23:35.747448
• Title: 3D Paintbrush: Local Stylization of 3D Shapes with Cascaded Score Distillation
• Title（参考訳）: 3dペイントブラシ:カスケードスコア蒸留による3d形状の局所スタイライゼーション
• Authors: Dale Decatur, Itai Lang, Kfir Aberman, Rana Hanocka
• Abstract要約: 3D Paintbrushは、テキスト記述を通じてメッシュ上のセマンティックリージョンを自動的に局所化するテクニックである。 本手法はメッシュ上で直接動作し,テクスチャマップをシームレスに生成するように設計されている。
• 参考スコア（独自算出の注目度）: 21.703142822709466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work we develop 3D Paintbrush, a technique for automatically texturing local semantic regions on meshes via text descriptions. Our method is designed to operate directly on meshes, producing texture maps which seamlessly integrate into standard graphics pipelines. We opt to simultaneously produce a localization map (to specify the edit region) and a texture map which conforms to it. This synergistic approach improves the quality of both the localization and the stylization. To enhance the details and resolution of the textured area, we leverage multiple stages of a cascaded diffusion model to supervise our local editing technique with generative priors learned from images at different resolutions. Our technique, referred to as Cascaded Score Distillation (CSD), simultaneously distills scores at multiple resolutions in a cascaded fashion, enabling control over both the granularity and global understanding of the supervision. We demonstrate the effectiveness of 3D Paintbrush to locally texture a variety of shapes within different semantic regions. Project page: https://threedle.github.io/3d-paintbrush
• Abstract（参考訳）: 本研究では,メッシュ上の局所的な意味領域を自動的にテキスト化する手法である3dペイントブラシを開発した。 本手法はメッシュ上で直接動作するように設計され,標準グラフィックスパイプラインにシームレスに統合されたテクスチャマップを生成する。 我々は, (編集領域を特定するために) ローカライズマップとそれに対応するテクスチャマップを同時に作成することを選んだ。 この相乗的アプローチは、ローカライゼーションとスタイリゼーションの両方の品質を改善する。 テクスチャ化された領域の詳細と解像度を高めるために,カスケード拡散モデルの複数の段階を活用して,画像から異なる解像度で学習した生成前の編集技術を監督する。 本手法はCSD (Cascaded Score Distillation) と呼ばれ, カスカデド方式で複数の解像度のスコアを同時に蒸留することにより, 監督の粒度とグローバルな理解の両面を制御できる。 異なる意味領域における形状の局所的テクスチャ化における3Dペイントブラシの有効性を示す。 プロジェクトページ: https://threedle.github.io/3d-paintbrush

関連論文リスト

• DECOLLAGE: 3D Detailization by Controllable, Localized, and Learned Geometry Enhancement [38.719572669042925]
  エンドユーザーが機械学習を用いて3次元形状を洗練・詳細化できる3Dモデリング手法を提案する。 詳細をローカライズする能力は、新しいインタラクティブな創造性と応用を可能にする。
  論文  参考訳（メタデータ） (2024-09-10T00:51:49Z)
• ShapeFusion: A 3D diffusion model for localized shape editing [37.82690898932135]
  本研究では,任意の形状領域の局所的な操作を容易にする効果的な拡散マスキングトレーニング戦略を提案する。 現在の最先端技術と比較して、我々の手法は遅延コード状態に依存する方法よりも解釈可能な形状操作をもたらす。
  論文  参考訳（メタデータ） (2024-03-28T18:50:19Z)
• DragTex: Generative Point-Based Texture Editing on 3D Mesh [11.163205302136625]
  本稿ではDragTexと呼ばれる3次元メッシュテクスチャ生成手法を提案する。 この方法は拡散モデルを用いて、変形したシルエット付近の局所的に不整合なテクスチャを異なる視点でブレンドする。 個々のビューを個別にトレーニングするのではなく、マルチビューイメージを使用してLoRAをトレーニングします。
  論文  参考訳（メタデータ） (2024-03-04T17:05:01Z)
• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• Blocks2World: Controlling Realistic Scenes with Editable Primitives [5.541644538483947]
  我々は3Dシーンのレンダリングと編集のための新しい方法であるBlocks2Worldを提案する。 本手法は,コンベックス分解を用いて,各シーンの様々な物体から3次元並列入力を抽出することから始める。 次のステージでは、2Dレンダリングされた凸プリミティブから画像を生成することを学ぶ条件付きモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-07-07T21:38:50Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)
• TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using Differentiable Rendering [54.35405028643051]
  スマートフォン1台でテクスチャ化されたメッシュを野生で取得するパイプラインを新たに提案する。 提案手法ではまず,RGBD支援構造を動きから導入し,フィルタした深度マップを作成できる。 我々は,高品質なメッシュを実現するニューラル暗黙表面再構成法を採用する。
  論文  参考訳（メタデータ） (2023-03-27T10:07:52Z)
• SKED: Sketch-guided Text-based 3D Editing [49.019881133348775]
  我々は,NeRFで表される3次元形状を編集する技術であるSKEDを提案する。 我々の手法は、異なる視点からの2つのガイドスケッチを使用して、既存のニューラルネットワークを変化させる。 本稿では,ベースインスタンスの密度と放射率を保ちつつ,所望の編集を生成する新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-19T18:40:44Z)
• TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
  TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。 表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
  論文  参考訳（メタデータ） (2023-02-03T13:18:45Z)
• Semi-supervised Synthesis of High-Resolution Editable Textures for 3D Humans [14.098628848491147]
  半教師付き構成で3次元メッシュの多彩な高忠実度テクスチャマップを生成する新しい手法を提案する。 テクスチャマップ内のセマンティクス領域のレイアウトを定義するセグメンテーションマスクを考えると、ネットワークはさまざまなスタイルで高解像度のテクスチャを生成し、レンダリング目的に使用されます。
  論文  参考訳（メタデータ） (2021-03-31T17:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。