論文の概要: LEMON: Localized Editing with Mesh Optimization and Neural Shaders
- arxiv url: http://arxiv.org/abs/2409.12024v1
- Date: Wed, 18 Sep 2024 14:34:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-19 17:10:23.759051
- Title: LEMON: Localized Editing with Mesh Optimization and Neural Shaders
- Title（参考訳）: LEMON: メッシュ最適化とニューラルシェーダによるローカル編集
- Authors: Furkan Mert Algan, Umut Yazgan, Driton Salihu, Cem Eteke, Eckehard Steinbach,
- Abstract要約: ニューラル遅延シェーディングと局所メッシュ最適化を組み合わせたメッシュ編集パイプラインLEMONを提案する。
DTUデータセットを用いてパイプラインを評価し、現在の最先端手法よりも高速に微細に編集されたメッシュを生成することを示す。
- 参考スコア（独自算出の注目度）: 0.5499187928849248
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In practical use cases, polygonal mesh editing can be faster than generating new ones, but it can still be challenging and time-consuming for users. Existing solutions for this problem tend to focus on a single task, either geometry or novel view synthesis, which often leads to disjointed results between the mesh and view. In this work, we propose LEMON, a mesh editing pipeline that combines neural deferred shading with localized mesh optimization. Our approach begins by identifying the most important vertices in the mesh for editing, utilizing a segmentation model to focus on these key regions. Given multi-view images of an object, we optimize a neural shader and a polygonal mesh while extracting the normal map and the rendered image from each view. By using these outputs as conditioning data, we edit the input images with a text-to-image diffusion model and iteratively update our dataset while deforming the mesh. This process results in a polygonal mesh that is edited according to the given text instruction, preserving the geometric characteristics of the initial mesh while focusing on the most significant areas. We evaluate our pipeline using the DTU dataset, demonstrating that it generates finely-edited meshes more rapidly than the current state-of-the-art methods. We include our code and additional results in the supplementary material.
- Abstract（参考訳）: 実際のユースケースでは、ポリゴンメッシュの編集は、新しいものを生成するよりも高速だが、ユーザにとって依然として困難で時間を要する可能性がある。
この問題の既存のソリューションは、幾何学的または新しいビュー合成という単一のタスクにフォーカスする傾向があり、しばしばメッシュとビューの間に相容れない結果をもたらす。
本研究では,ニューラル遅延シェーディングと局所メッシュ最適化を組み合わせたメッシュ編集パイプラインLEMONを提案する。
当社のアプローチはまず、これらの重要な領域にフォーカスするためにセグメンテーションモデルを利用することで、メッシュの編集において最も重要な頂点を特定することから始まります。
対象物のマルチビュー画像が与えられた場合、各ビューから正常な地図と描画された画像を抽出しながら、ニューラルシェーダとポリゴンメッシュを最適化する。
これらの出力を条件付けデータとして使用することにより、入力画像をテキストから画像への拡散モデルで編集し、メッシュを変形しながらデータセットを反復的に更新する。
このプロセスにより、与えられたテキスト命令に従って編集された多角形メッシュが、最も重要な領域に着目しながら初期メッシュの幾何学的特性を保存する。
DTUデータセットを用いてパイプラインを評価し、現在の最先端手法よりも高速に微細に編集されたメッシュを生成することを示す。
補足資料にコードと追加結果を含めます。
関連論文リスト
- SpaceMesh: A Continuous Representation for Learning Manifold Surface Meshes [61.110517195874074]
本稿では,ニューラルネットワークの出力として,複雑な接続性を持つ多様体多角形メッシュを直接生成する手法を提案する。
私たちの重要なイノベーションは、各メッシュで連続的な遅延接続空間を定義することです。
アプリケーションでは、このアプローチは生成モデルから高品質な出力を得るだけでなく、メッシュ修復のような挑戦的な幾何処理タスクを直接学習することを可能にする。
論文 参考訳（メタデータ） (2024-09-30T17:59:03Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳（メタデータ） (2024-03-18T04:01:26Z) - High-Quality Mesh Blendshape Generation from Face Videos via Neural Inverse Rendering [15.009484906668737]
メッシュをベースとしたブレンドシェイプリグを,シングルあるいはスパースなマルチビュービデオから再構成する新しい手法を提案する。
実験により,シングルあるいはスパースなマルチビュービデオのフレキシブルな入力により,パーソナライズされた高忠実度ブレンドサップを再構築することを示した。
論文 参考訳（メタデータ） (2024-01-16T14:41:31Z) - Mesh-Guided Neural Implicit Field Editing [42.78979161815414]
本稿では,ニューラルネットワークの編集におけるガイド機構としてメッシュを用いた新しいアプローチを提案する。
まず,ニューラル暗黙フィールドから多角形メッシュ抽出のためのマーチングテトラヘドラを用いた微分可能手法を提案する。
次に、この抽出メッシュにボリュームレンダリングから得られた色を割り当てるために、微分可能な色抽出器を設計する。
この差別化可能なカラーメッシュは、暗黙のメッシュから暗示のフィールドへの勾配のバックプロパゲーションを可能にし、ニューラルな暗示のフィールドの幾何学と色をユーザが容易に操作できるようにする。
論文 参考訳（メタデータ） (2023-12-04T18:59:58Z) - Neural Impostor: Editing Neural Radiance Fields with Explicit Shape
Manipulation [49.852533321916844]
マルチグリッドの暗黙の場とともに、明示的な四面体メッシュを組み込んだハイブリッド表現であるNeural Impostorを導入する。
我々のフレームワークは、多グリッドのバリ中心座標符号化を利用して、暗黙のフィールドの明示的な形状操作と幾何的編集を橋渡しする。
合成オブジェクトと実際のキャプチャデータの両方を編集するなど、多様な例や実験を通して、システムの堅牢性と適応性を示す。
論文 参考訳（メタデータ） (2023-10-09T04:07:00Z) - Multi-View Mesh Reconstruction with Neural Deferred Shading [0.8514420632209809]
最先端の手法では、ニューラルサーフェス表現とニューラルシェーディングの両方を用いる。
曲面を三角形メッシュとして表現し、三角形の描画とニューラルシェーディングを中心に、微分可能なレンダリングパイプラインを構築します。
パブリックな3次元再構成データセットを用いてランタイムの評価を行い、最適化において従来のベースラインの復元精度を上回りながら、従来のベースラインの再構築精度に適合できることを示す。
論文 参考訳（メタデータ） (2022-12-08T16:29:46Z) - 3D Neural Sculpting (3DNS): Editing Neural Signed Distance Functions [34.39282814876276]
本研究では,ニューラルネットワークを用いて表現された符号付き距離関数の対話的編集を行う手法を提案する。
メッシュのための3D彫刻ソフトウェアにインスパイアされた私たちは、直感的で将来彫刻家やデジタルアーティストが利用できるブラシベースのフレームワークを使用しています。
論文 参考訳（メタデータ） (2022-09-28T10:05:16Z) - NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for
Geometry and Texture Editing [39.71252429542249]
本稿では,メッシュ頂点上の幾何およびテクスチャコードを用いて,ニューラル暗黙の場を符号化することで,メッシュに基づく新しい表現を提案する。
メッシュベース表現の空間的識別性を最大化する学習可能な手話指標を含む,いくつかの手法を開発した。
実データと合成データの両方における実験および編集例は,表現品質と編集能力において,本手法が優れていることを示す。
論文 参考訳（メタデータ） (2022-07-25T05:30:50Z) - Deep Rectangling for Image Stitching: A Learning Baseline [57.76737888499145]
我々は不規則な境界やシーンに大きな多様性を持つ最初の画像縫合整形データセットを構築した。
実験では、従来の方法よりも定量的にも質的にも優位性を示す。
論文 参考訳（メタデータ） (2022-03-08T03:34:10Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳（メタデータ） (2021-11-24T13:58:20Z) - Neural Subdivision [58.97214948753937]
本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。
すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。
単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
論文 参考訳（メタデータ） (2020-05-04T20:03:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。