論文の概要: NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for Geometry and Texture Editing

• arxiv url: http://arxiv.org/abs/2207.11911v1
• Date: Mon, 25 Jul 2022 05:30:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 15:42:59.394554
• Title: NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for Geometry and Texture Editing
• Title（参考訳）: NeuMesh: 幾何学とテクスチャ編集のためのアンタングル型ニューラルネットワークベース命令場を学習する
• Authors: Bangbang Yang, Chong Bao, Junyi Zeng, Hujun Bao, Yinda Zhang, Zhaopeng Cui, Guofeng Zhang
• Abstract要約: 本稿では,メッシュ頂点上の幾何およびテクスチャコードを用いて,ニューラル暗黙の場を符号化することで,メッシュに基づく新しい表現を提案する。 メッシュベース表現の空間的識別性を最大化する学習可能な手話指標を含む,いくつかの手法を開発した。 実データと合成データの両方における実験および編集例は,表現品質と編集能力において,本手法が優れていることを示す。
• 参考スコア（独自算出の注目度）: 39.71252429542249
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Very recently neural implicit rendering techniques have been rapidly evolved and shown great advantages in novel view synthesis and 3D scene reconstruction. However, existing neural rendering methods for editing purposes offer limited functionality, e.g., rigid transformation, or not applicable for fine-grained editing for general objects from daily lives. In this paper, we present a novel mesh-based representation by encoding the neural implicit field with disentangled geometry and texture codes on mesh vertices, which facilitates a set of editing functionalities, including mesh-guided geometry editing, designated texture editing with texture swapping, filling and painting operations. To this end, we develop several techniques including learnable sign indicators to magnify spatial distinguishability of mesh-based representation, distillation and fine-tuning mechanism to make a steady convergence, and the spatial-aware optimization strategy to realize precise texture editing. Extensive experiments and editing examples on both real and synthetic data demonstrate the superiority of our method on representation quality and editing ability. Code is available on the project webpage: https://zju3dv.github.io/neumesh/.
• Abstract（参考訳）: 非常に最近のニューラル暗黙的レンダリング技術は急速に進化し、新しいビュー合成と3次元シーン再構成において大きな優位性を示している。 しかし、編集目的の既存のニューラルレンダリング手法は、剛性変換のような限られた機能や、日常生活からの汎用オブジェクトのきめ細かい編集に適用できない機能を提供している。 本稿では,メッシュ頂点上の不連続な形状とテクスチャコードを持つニューラルネットワークの暗黙的場を符号化することにより,メッシュ誘導幾何編集,テクスチャスワッピングによるテクスチャ編集,フィリング,ペインティング操作など,一連の編集機能を実現するメッシュベース表現を提案する。 そこで本研究では,メッシュ表現の空間的識別性を拡大する学習可能な手指指示器,定常収束を実現するための蒸留・微調整機構,正確なテクスチャ編集を実現する空間認識最適化戦略など,いくつかの手法を開発した。 実データと合成データの両方における広範な実験と編集例により,本手法の表現品質と編集能力に優れることが示された。 コードはプロジェクトのWebページで公開されている。

関連論文リスト

• LEMON: Localized Editing with Mesh Optimization and Neural Shaders [0.5499187928849248]
  ニューラル遅延シェーディングと局所メッシュ最適化を組み合わせたメッシュ編集パイプラインLEMONを提案する。 DTUデータセットを用いてパイプラインを評価し、現在の最先端手法よりも高速に微細に編集されたメッシュを生成することを示す。
  論文  参考訳（メタデータ） (2024-09-18T14:34:06Z)
• Texture-GS: Disentangling the Geometry and Texture for 3D Gaussian Splatting Editing [79.10630153776759]
  3Dガウススプラッティングは画期的なアプローチとして登場し、高忠実度再構成とリアルタイムレンダリングの能力に注目が集まっている。 そこで我々は,テクスチャ-GSという新しいアプローチを提案し,その外観を3次元表面上にマッピングされた2次元テクスチャとして表現することで幾何学から切り離す。 提案手法は,高精細な外観の編集を容易にするだけでなく,コンシューマレベルのデバイス上でのリアルタイムレンダリングも実現している。
  論文  参考訳（メタデータ） (2024-03-15T06:42:55Z)
• Mesh-Guided Neural Implicit Field Editing [42.78979161815414]
  本稿では,ニューラルネットワークの編集におけるガイド機構としてメッシュを用いた新しいアプローチを提案する。 まず,ニューラル暗黙フィールドから多角形メッシュ抽出のためのマーチングテトラヘドラを用いた微分可能手法を提案する。 次に、この抽出メッシュにボリュームレンダリングから得られた色を割り当てるために、微分可能な色抽出器を設計する。 この差別化可能なカラーメッシュは、暗黙のメッシュから暗示のフィールドへの勾配のバックプロパゲーションを可能にし、ニューラルな暗示のフィールドの幾何学と色をユーザが容易に操作できるようにする。
  論文  参考訳（メタデータ） (2023-12-04T18:59:58Z)
• Text-Guided 3D Face Synthesis -- From Generation to Editing [53.86765812392627]
  顔生成から編集までの統一的なテキスト誘導フレームワークを提案する。 我々は、RGBおよびYUV空間のテクスチャ品質を高めるために、微調整されたテクスチャ拡散モデルを用いている。 整合性を維持しつつ編集効率を向上させるための自己誘導整合性ウェイト戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-01T06:36:23Z)
• Neural Impostor: Editing Neural Radiance Fields with Explicit Shape Manipulation [49.852533321916844]
  マルチグリッドの暗黙の場とともに、明示的な四面体メッシュを組み込んだハイブリッド表現であるNeural Impostorを導入する。 我々のフレームワークは、多グリッドのバリ中心座標符号化を利用して、暗黙のフィールドの明示的な形状操作と幾何的編集を橋渡しする。 合成オブジェクトと実際のキャプチャデータの両方を編集するなど、多様な例や実験を通して、システムの堅牢性と適応性を示す。
  論文  参考訳（メタデータ） (2023-10-09T04:07:00Z)
• DreamEditor: Text-Driven 3D Scene Editing with Neural Fields [115.07896366760876]
  テキストプロンプトを用いてニューラルフィールドを編集できる新しいフレームワークを提案する。 DreamEditorは非常に現実的なテクスチャと幾何学を生成し、量的および質的な評価において、以前の作品を大きく上回っている。
  論文  参考訳（メタデータ） (2023-06-23T11:53:43Z)
• SINE: Semantic-driven Image-based NeRF Editing with Prior-guided Editing Field [37.8162035179377]
  我々は,1つの画像でニューラルラディアンスフィールドを編集できる,新しい意味駆動型NeRF編集手法を提案する。 この目的を達成するために,3次元空間における微細な幾何学的・テクスチャ的編集を符号化する事前誘導編集場を提案する。 本手法は,1枚の編集画像のみを用いた写真リアルな3D編集を実現し,実世界の3Dシーンにおけるセマンティックな編集の限界を押し上げる。
  論文  参考訳（メタデータ） (2023-03-23T13:58:11Z)
• Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement [78.48648360358193]
  画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。 我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。 ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
  論文  参考訳（メタデータ） (2023-03-03T17:14:44Z)
• 3D Neural Sculpting (3DNS): Editing Neural Signed Distance Functions [34.39282814876276]
  本研究では,ニューラルネットワークを用いて表現された符号付き距離関数の対話的編集を行う手法を提案する。 メッシュのための3D彫刻ソフトウェアにインスパイアされた私たちは、直感的で将来彫刻家やデジタルアーティストが利用できるブラシベースのフレームワークを使用しています。
  論文  参考訳（メタデータ） (2022-09-28T10:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。