論文の概要: Mesh-Guided Neural Implicit Field Editing

• arxiv url: http://arxiv.org/abs/2312.02157v1
• Date: Mon, 4 Dec 2023 18:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 13:57:43.614830
• Title: Mesh-Guided Neural Implicit Field Editing
• Title（参考訳）: メッシュ誘導型ニューラルインシシトフィールド編集
• Authors: Can Wang and Mingming He and Menglei Chai and Dongdong Chen and Jing Liao
• Abstract要約: 本稿では,ニューラルネットワークの編集におけるガイド機構としてメッシュを用いた新しいアプローチを提案する。 まず,ニューラル暗黙フィールドから多角形メッシュ抽出のためのマーチングテトラヘドラを用いた微分可能手法を提案する。 次に、この抽出メッシュにボリュームレンダリングから得られた色を割り当てるために、微分可能な色抽出器を設計する。 この差別化可能なカラーメッシュは、暗黙のメッシュから暗示のフィールドへの勾配のバックプロパゲーションを可能にし、ニューラルな暗示のフィールドの幾何学と色をユーザが容易に操作できるようにする。
• 参考スコア（独自算出の注目度）: 42.78979161815414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural implicit fields have emerged as a powerful 3D representation for reconstructing and rendering photo-realistic views, yet they possess limited editability. Conversely, explicit 3D representations, such as polygonal meshes, offer ease of editing but may not be as suitable for rendering high-quality novel views. To harness the strengths of both representations, we propose a new approach that employs a mesh as a guiding mechanism in editing the neural radiance field. We first introduce a differentiable method using marching tetrahedra for polygonal mesh extraction from the neural implicit field and then design a differentiable color extractor to assign colors obtained from the volume renderings to this extracted mesh. This differentiable colored mesh allows gradient back-propagation from the explicit mesh to the implicit fields, empowering users to easily manipulate the geometry and color of neural implicit fields. To enhance user control from coarse-grained to fine-grained levels, we introduce an octree-based structure into its optimization. This structure prioritizes the edited regions and the surface part, making our method achieve fine-grained edits to the neural implicit field and accommodate various user modifications, including object additions, component removals, specific area deformations, and adjustments to local and global colors. Through extensive experiments involving diverse scenes and editing operations, we have demonstrated the capabilities and effectiveness of our method. Our project page is: \url{https://cassiepython.github.io/MNeuEdit/}
• Abstract（参考訳）: neural implicit fieldは、フォトリアリスティックなビューを再構築しレンダリングするための強力な3d表現として登場したが、編集性は限られている。 逆に、多角形メッシュのような明示的な3d表現は編集が容易であるが、高品質のノベルビューのレンダリングには適さない。 両表現の強みを活用するために,ニューラルネットワークの放射フィールドの編集において,メッシュを誘導機構として用いる新しい手法を提案する。 まず,神経暗黙場からの多角メッシュ抽出のためのマーチングテトラヘドラを用いた微分可能色抽出器の設計を行い,ボリュームレンダリングから得られた色を抽出されたメッシュに割り当てる。 この微分可能な色のメッシュは、明示的なメッシュから暗黙のフィールドへの勾配バックプロパゲーションを可能にし、ユーザーは神経の暗黙のフィールドの幾何学と色を容易に操作できる。 粗粒度から細粒度レベルへのユーザ制御を強化するため,オクツリー構造を最適化に導入する。 この構造は、編集された領域と表面部を優先し、ニューラルネットワークの暗黙のフィールドに微細な編集を施し、オブジェクトの追加、コンポーネントの除去、特定の領域の変形、局所的およびグローバルな色への調整など、様々なユーザ修正に対応する。 多様なシーンや編集作業を含む広範な実験を通じて,本手法の有効性と効果を実証した。 私たちのプロジェクトページは以下のとおりです。

関連論文リスト

• Learning Naturally Aggregated Appearance for Efficient 3D Editing [94.47518916521065]
  カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。 歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。 私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
  論文  参考訳（メタデータ） (2023-12-11T18:59:31Z)
• Neural Impostor: Editing Neural Radiance Fields with Explicit Shape Manipulation [49.852533321916844]
  マルチグリッドの暗黙の場とともに、明示的な四面体メッシュを組み込んだハイブリッド表現であるNeural Impostorを導入する。 我々のフレームワークは、多グリッドのバリ中心座標符号化を利用して、暗黙のフィールドの明示的な形状操作と幾何的編集を橋渡しする。 合成オブジェクトと実際のキャプチャデータの両方を編集するなど、多様な例や実験を通して、システムの堅牢性と適応性を示す。
  論文  参考訳（メタデータ） (2023-10-09T04:07:00Z)
• UVA: Towards Unified Volumetric Avatar for View Synthesis, Pose rendering, Geometry and Texture Editing [83.0396740127043]
  テクスチャとテクスチャの両方を局所的に編集できるtextbfUnified textbfVolumetric textbfAvatar (textbfUVA) という新しいアプローチを提案する。 UVAは、各観測点をスキン運動場を用いて標準空間に変換し、別々の神経場における幾何学とテクスチャを表現する。 複数の人体アバターの実験により、UVAが新しいビュー合成と新しいポーズレンダリングを実現していることが示された。
  論文  参考訳（メタデータ） (2023-04-14T07:39:49Z)
• SKED: Sketch-guided Text-based 3D Editing [49.019881133348775]
  我々は,NeRFで表される3次元形状を編集する技術であるSKEDを提案する。 我々の手法は、異なる視点からの2つのガイドスケッチを使用して、既存のニューラルネットワークを変化させる。 本稿では,ベースインスタンスの密度と放射率を保ちつつ,所望の編集を生成する新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-19T18:40:44Z)
• PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields [60.66412075837952]
  本稿では,3次元色分解に基づくニューラルラジアンスフィールド(NeRF)の出現編集手法であるPaletteNeRFを提案する。 提案手法は,各3次元点の出現を,パレットベースによる線形結合に分解する。 我々は、セマンティック・アウェアな外観編集のためのセマンティック機能を圧縮したフレームワークを拡張した。
  論文  参考訳（メタデータ） (2022-12-21T00:20:01Z)
• NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for Geometry and Texture Editing [39.71252429542249]
  本稿では,メッシュ頂点上の幾何およびテクスチャコードを用いて,ニューラル暗黙の場を符号化することで,メッシュに基づく新しい表現を提案する。 メッシュベース表現の空間的識別性を最大化する学習可能な手話指標を含む,いくつかの手法を開発した。 実データと合成データの両方における実験および編集例は,表現品質と編集能力において,本手法が優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-25T05:30:50Z)
• NeRF-Editing: Geometry Editing of Neural Radiance Fields [43.256317094173795]
  暗黙のニューラルレンダリングは、シーンの新規なビュー合成において大きな可能性を示している。 本研究では,シーンの暗黙的な表現に対して,ユーザが制御可能な形状変形を実行できるようにする手法を提案する。 我々のフレームワークは、合成データだけでなく、ユーザによってキャプチャされた実際のシーンでも理想的な編集結果を得ることができる。
  論文  参考訳（メタデータ） (2022-05-10T15:35:52Z)
• Editing Conditional Radiance Fields [40.685602081728554]
  ニューラルラジアンスフィールド(NeRF)は、シーンごとに最適化された高品質のビュー合成をサポートするシーンモデルです。 本稿では,形状カテゴリで学習したカテゴリレベルのnrfのユーザ編集を可能にすることを検討する。 局所領域の色や形状を変更するために,粗い2次元ユーザスクリブルを3次元空間に伝播させる手法を提案する。
  論文  参考訳（メタデータ） (2021-05-13T17:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。