論文の概要: SKED: Sketch-guided Text-based 3D Editing

• arxiv url: http://arxiv.org/abs/2303.10735v2
• Date: Tue, 23 May 2023 20:23:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 01:42:07.250082
• Title: SKED: Sketch-guided Text-based 3D Editing
• Title（参考訳）: SKED:スケッチガイド付きテキストベースの3D編集
• Authors: Aryan Mikaeili, Or Perel, Mehdi Safaee, Daniel Cohen-Or, Ali Mahdavi-Amiri
• Abstract要約: 我々は,NeRFで表される3次元形状を編集する技術であるSKEDを提案する。 我々の手法は、異なる視点からの2つのガイドスケッチを使用して、既存のニューラルネットワークを変化させる。 本稿では,ベースインスタンスの密度と放射率を保ちつつ,所望の編集を生成する新しい損失関数を提案する。
• 参考スコア（独自算出の注目度）: 41.4476317855892
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Text-to-image diffusion models are gradually introduced into computer graphics, recently enabling the development of Text-to-3D pipelines in an open domain. However, for interactive editing purposes, local manipulations of content through a simplistic textual interface can be arduous. Incorporating user guided sketches with Text-to-image pipelines offers users more intuitive control. Still, as state-of-the-art Text-to-3D pipelines rely on optimizing Neural Radiance Fields (NeRF) through gradients from arbitrary rendering views, conditioning on sketches is not straightforward. In this paper, we present SKED, a technique for editing 3D shapes represented by NeRFs. Our technique utilizes as few as two guiding sketches from different views to alter an existing neural field. The edited region respects the prompt semantics through a pre-trained diffusion model. To ensure the generated output adheres to the provided sketches, we propose novel loss functions to generate the desired edits while preserving the density and radiance of the base instance. We demonstrate the effectiveness of our proposed method through several qualitative and quantitative experiments.
• Abstract（参考訳）: テキストから画像への拡散モデルは徐々にコンピュータグラフィックスに導入され、最近はオープンドメインでテキストから3Dパイプラインの開発が可能になった。 しかし、インタラクティブな編集のためには、単純なテキストインタフェースによるコンテンツの局所的な操作は困難である。 ユーザガイドによるスケッチをText-to-imageパイプラインに組み込むことで,より直感的なコントロールが可能になる。 それでも、最先端のText-to-3Dパイプラインは任意のレンダリングビューからの勾配を通じてNeRF(Neural Radiance Fields)の最適化に依存しているため、スケッチの条件付けは簡単ではない。 本稿では,NeRFで表される3次元形状を編集する技術であるSKEDを提案する。 本手法は,既存のニューラルフィールドを変化させるために,異なる視点からの2つのガイドスケッチを用いる。 編集された領域は、事前訓練された拡散モデルを通じてプロンプトセマンティクスを尊重する。 生成した出力が提供されるスケッチに確実に準拠するように,ベースインスタンスの密度と放射率を維持しつつ,所望の編集を生成する新しい損失関数を提案する。 提案手法の有効性を, 定性的, 定量的な実験によって実証する。

関連論文リスト

• Sketch2NeRF: Multi-view Sketch-guided Text-to-3D Generation [37.93542778715304]
  スケッチ誘導型テキストから3D生成フレームワーク(Sketch2NeRF)を提案し、3D生成にスケッチ制御を追加する。 本手法は,スケッチの類似性やテキストアライメントの観点から,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-01-25T15:49:12Z)
• Learning Naturally Aggregated Appearance for Efficient 3D Editing [94.47518916521065]
  カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。 歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。 私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
  論文  参考訳（メタデータ） (2023-12-11T18:59:31Z)
• Control3D: Towards Controllable Text-to-3D Generation [107.81136630589263]
  本稿では,手書きスケッチ,すなわちコントロール3Dについてテキストから3D生成条件を提案する。 2次元条件付き拡散モデル(ControlNet)を再構成し、NeRFとしてパラメータ化された3次元シーンの学習を誘導する。 合成3Dシーン上での描画画像のスケッチを直接推定するために,事前学習可能なフォト・ツー・スケッチ・モデルを利用する。
  論文  参考訳（メタデータ） (2023-11-09T15:50:32Z)
• Directional Texture Editing for 3D Models [51.31499400557996]
  ITEM3D は textbf3D オブジェクトの自動編集のために設計されている。 拡散モデルと微分可能レンダリングを活用して、ITEM3Dはレンダリングされた画像をテキストと3D表現のブリッジとして取り込む。
  論文  参考訳（メタデータ） (2023-09-26T12:01:13Z)
• Blocks2World: Controlling Realistic Scenes with Editable Primitives [5.541644538483947]
  我々は3Dシーンのレンダリングと編集のための新しい方法であるBlocks2Worldを提案する。 本手法は,コンベックス分解を用いて,各シーンの様々な物体から3次元並列入力を抽出することから始める。 次のステージでは、2Dレンダリングされた凸プリミティブから画像を生成することを学ぶ条件付きモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-07-07T21:38:50Z)
• TAPS3D: Text-Guided 3D Textured Shape Generation from Pseudo Supervision [114.56048848216254]
  テキスト誘導型3次元形状生成器を疑似キャプションで訓練するための新しいフレームワークTAPS3Dを提案する。 レンダリングされた2D画像に基づいて,CLIP語彙から関連する単語を検索し,テンプレートを用いて擬似キャプションを構築する。 構築したキャプションは、生成された3次元形状の高レベルなセマンティック管理を提供する。
  論文  参考訳（メタデータ） (2023-03-23T13:53:16Z)
• Dream3D: Zero-Shot Text-to-3D Synthesis Using 3D Shape Prior and Text-to-Image Diffusion Models [44.34479731617561]
  我々はCLIP誘導3次元最適化プロセスに明示的な3次元形状前処理を導入する。 テキストと画像のモダリティを直接、強力なテキストと画像の拡散モデルでブリッジする、シンプルで効果的なアプローチを提案する。 提案手法であるDream3Dは,視覚的品質と形状の精度に優れた想像的3Dコンテンツを生成することができる。
  論文  参考訳（メタデータ） (2022-12-28T18:23:47Z)
• 3DDesigner: Towards Photorealistic 3D Object Generation and Editing with Text-guided Diffusion Models [71.25937799010407]
  テキスト誘導拡散モデルを用いて3次元連続生成を実現する。 本研究では3次元局所編集について検討し,2段階の解法を提案する。 モデルを拡張してワンショットのノベルビュー合成を行う。
  論文  参考訳（メタデータ） (2022-11-25T13:50:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。