論文の概要: SINE: Semantic-driven Image-based NeRF Editing with Prior-guided Editing Field

• arxiv url: http://arxiv.org/abs/2303.13277v2
• Date: Sat, 25 Mar 2023 14:58:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 11:46:06.533215
• Title: SINE: Semantic-driven Image-based NeRF Editing with Prior-guided Editing Field
• Title（参考訳）: SINE: 先導編集フィールドを用いたセマンティック画像ベースNeRF編集
• Authors: Chong Bao, Yinda Zhang, Bangbang Yang, Tianxing Fan, Zesong Yang, Hujun Bao, Guofeng Zhang and Zhaopeng Cui
• Abstract要約: 我々は,1つの画像でニューラルラディアンスフィールドを編集できる,新しい意味駆動型NeRF編集手法を提案する。 この目的を達成するために,3次元空間における微細な幾何学的・テクスチャ的編集を符号化する事前誘導編集場を提案する。 本手法は,1枚の編集画像のみを用いた写真リアルな3D編集を実現し,実世界の3Dシーンにおけるセマンティックな編集の限界を押し上げる。
• 参考スコア（独自算出の注目度）: 37.8162035179377
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the great success in 2D editing using user-friendly tools, such as Photoshop, semantic strokes, or even text prompts, similar capabilities in 3D areas are still limited, either relying on 3D modeling skills or allowing editing within only a few categories. In this paper, we present a novel semantic-driven NeRF editing approach, which enables users to edit a neural radiance field with a single image, and faithfully delivers edited novel views with high fidelity and multi-view consistency. To achieve this goal, we propose a prior-guided editing field to encode fine-grained geometric and texture editing in 3D space, and develop a series of techniques to aid the editing process, including cyclic constraints with a proxy mesh to facilitate geometric supervision, a color compositing mechanism to stabilize semantic-driven texture editing, and a feature-cluster-based regularization to preserve the irrelevant content unchanged. Extensive experiments and editing examples on both real-world and synthetic data demonstrate that our method achieves photo-realistic 3D editing using only a single edited image, pushing the bound of semantic-driven editing in 3D real-world scenes. Our project webpage: https://zju3dv.github.io/sine/.
• Abstract（参考訳）: Photoshopやセマンティックストローク、さらにはテキストプロンプトといったユーザフレンドリーなツールを使った2D編集で大きな成功を収めているにもかかわらず、3Dモデリングスキルに依存するか、ほんの数カテゴリで編集できるかのどちらかで、3D領域における同様の機能は制限されている。 本稿では,1つの画像でニューラルラディアンスフィールドを編集し,高い忠実度と多視点整合性で編集された新しいビューを忠実に提供する,意味駆動型NeRF編集手法を提案する。 この目的を達成するために,細粒度な幾何学的およびテクスチャ編集を3次元空間でエンコードする事前ガイド付き編集フィールドを提案し,幾何的監督を容易にするためのプロキシメッシュによる循環制約,意味駆動テクスチャ編集を安定化する色合成機構,無関係なコンテンツを不変に保存する特徴クラスタベースの正規化など,編集プロセスを支援する一連の技術を開発した。 本手法は,1枚の編集画像のみを用いてリアルな3D編集を実現し,実世界のシーンにおけるセマンティックな編集の限界を推し進めることが実証された。 私たちのプロジェクトwebページ: https://zju3dv.github.io/sine/

関連論文リスト

• ICE-G: Image Conditional Editing of 3D Gaussian Splats [45.112689255145625]
  単一の参照ビューから3Dモデルを素早く編集するための新しいアプローチを提案する。 我々の技術はまず編集画像を分割し、選択したセグメント化されたデータセットビュー間で意味的に対応する領域をマッチングする。 編集画像の特定の領域からの色やテクスチャの変化を、意味的に理解できる方法で、他のビューに自動的に適用することができる。
  論文  参考訳（メタデータ） (2024-06-12T17:59:52Z)
• DATENeRF: Depth-Aware Text-based Editing of NeRFs [49.08848777124736]
  我々は、NeRFシーンの深度情報を利用して異なる画像に2D編集を分散する塗装手法を提案する。 以上の結果から,本手法は既存のテキスト駆動型NeRFシーン編集手法よりも,より一貫性があり,ライフライクで,詳細な編集が可能であることが判明した。
  論文  参考訳（メタデータ） (2024-04-06T06:48:16Z)
• Reference-Based 3D-Aware Image Editing with Triplanes [15.222454412573455]
  GAN(Generative Adversarial Networks)は、高品質な画像生成と、潜伏空間を操作することで実際の画像編集のための強力なツールとして登場した。 GANの最近の進歩には、EG3Dのような3次元認識モデルが含まれており、単一の画像から3次元幾何学を再構築できる効率的な三面体ベースのアーキテクチャを備えている。 本研究では,先進的な参照ベース編集における三面体空間の有効性を探索し,実証することにより,このギャップを解消する。
  論文  参考訳（メタデータ） (2024-04-04T17:53:33Z)
• Real-time 3D-aware Portrait Editing from a Single Image [111.27169315556444]
  3DPEは、参照画像やテキスト記述など、与えられたプロンプトに従って顔画像を編集することができる。 軽量モジュールは、3Dポートレートジェネレータとテキスト・ツー・イメージ・モデルから蒸留される。
  論文  参考訳（メタデータ） (2024-02-21T18:36:26Z)
• Plasticine3D: 3D Non-Rigid Editing with Text Guidance by Multi-View Embedding Optimization [21.8454418337306]
  本研究では,3次元非剛性編集が可能なテキスト誘導型3D編集パイプラインであるPlastine3Dを提案する。 本研究は,編集過程を幾何学的編集段階とテクスチャ的編集段階に分割し,構造と外観を別々に制御する。 細粒度制御のために,埋め込み空間の編集目的と原特徴を融合させるエンベディング・フュージョン (EF) を提案する。
  論文  参考訳（メタデータ） (2023-12-15T09:01:54Z)
• SHAP-EDITOR: Instruction-guided Latent 3D Editing in Seconds [73.91114735118298]
  Shap-Editorは、新しいフィードフォワード3D編集フレームワークである。 フィードフォワード・エディター・ネットワークを構築することで,この空間で直接3D編集を行うことが可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-14T18:59:06Z)
• Learning Naturally Aggregated Appearance for Efficient 3D Editing [94.47518916521065]
  カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。 歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。 私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
  論文  参考訳（メタデータ） (2023-12-11T18:59:31Z)
• Customize your NeRF: Adaptive Source Driven 3D Scene Editing via Local-Global Iterative Training [61.984277261016146]
  テキスト記述や参照画像を編集プロンプトとして統合するCustomNeRFモデルを提案する。 最初の課題に取り組むために,前景領域編集とフルイメージ編集を交互に行うローカル・グローバル反復編集(LGIE)トレーニング手法を提案する。 第2の課題として、生成モデル内のクラス事前を利用して、一貫性の問題を緩和するクラス誘導正規化を設計する。
  論文  参考訳（メタデータ） (2023-12-04T06:25:06Z)
• Editing 3D Scenes via Text Prompts without Retraining [80.57814031701744]
  DN2Nはテキスト駆動編集方式であり、普遍的な編集機能を備えたNeRFモデルの直接取得を可能にする。 本手法では,2次元画像のテキストベース編集モデルを用いて3次元シーン画像の編集を行う。 本手法は,外観編集,天気変化,材質変化,スタイル伝達など,複数種類の編集を行う。
  論文  参考訳（メタデータ） (2023-09-10T02:31:50Z)
• NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for Geometry and Texture Editing [39.71252429542249]
  本稿では,メッシュ頂点上の幾何およびテクスチャコードを用いて,ニューラル暗黙の場を符号化することで,メッシュに基づく新しい表現を提案する。 メッシュベース表現の空間的識別性を最大化する学習可能な手話指標を含む,いくつかの手法を開発した。 実データと合成データの両方における実験および編集例は,表現品質と編集能力において,本手法が優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-25T05:30:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。