論文の概要: 3D Mesh Editing using Masked LRMs

• arxiv url: http://arxiv.org/abs/2412.08641v1
• Date: Wed, 11 Dec 2024 18:59:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:02:03.588197
• Title: 3D Mesh Editing using Masked LRMs
• Title（参考訳）: マスク付きLEMを用いた3次元メッシュ編集
• Authors: Will Gao, Dilin Wang, Yuchen Fan, Aljaz Bozic, Tuur Stuyck, Zhengqin Li, Zhao Dong, Rakesh Ranjan, Nikolaos Sarafianos,
• Abstract要約: マルチビュー画像からの3次元再構成の最近の進歩を基盤として,メッシュ形状の編集に新たなアプローチを提案する。 モデルでは, 所定の3次元領域を除いて, 入力形状を再構成しなければならない条件付き再構成問題として形状編集を定式化する。 提案手法は,1つのフォワードパスでSoTAと同等の再構成機能によって,非マスキーク領域の入力幾何を保存できるだけでなく,単一の画像ガイダンスから様々なメッシュ編集を行うのに十分であることを示す。
• 参考スコア（独自算出の注目度）: 26.34216998140891
• License:
• Abstract: We present a novel approach to mesh shape editing, building on recent progress in 3D reconstruction from multi-view images. We formulate shape editing as a conditional reconstruction problem, where the model must reconstruct the input shape with the exception of a specified 3D region, in which the geometry should be generated from the conditional signal. To this end, we train a conditional Large Reconstruction Model (LRM) for masked reconstruction, using multi-view consistent masks rendered from a randomly generated 3D occlusion, and using one clean viewpoint as the conditional signal. During inference, we manually define a 3D region to edit and provide an edited image from a canonical viewpoint to fill in that region. We demonstrate that, in just a single forward pass, our method not only preserves the input geometry in the unmasked region through reconstruction capabilities on par with SoTA, but is also expressive enough to perform a variety of mesh edits from a single image guidance that past works struggle with, while being 10x faster than the top-performing competing prior work.
• Abstract（参考訳）: マルチビュー画像からの3次元再構成の最近の進歩を基盤として,メッシュ形状の編集に新たなアプローチを提案する。 本研究では,条件信号から幾何を生成する必要がある特定3次元領域を除いて,モデルが入力形状を再構成しなければならない条件付き再構成問題として形状編集を定式化する。 この目的のために、マスク付き再構成のための条件付き大規模再構成モデル(LRM)をトレーニングし、ランダムに生成された3Dオクルージョンからレンダリングされた多視点一貫したマスクを使用し、条件信号として1つのクリーンな視点を用いる。 推論中、私たちは手動で3D領域を定義し、その領域を埋めるために標準的視点から編集された画像を提供します。 提案手法は,1つのフォワードパスにおいて,SoTAと同等の再現能力を有する非マスキーク領域の入力幾何を保存できるだけでなく,過去の作業が競合する最上位の作業よりも10倍高速でありながら,過去の作業に苦しむ単一のイメージガイダンスから,様々なメッシュ編集を行うのに十分であることを示す。

関連論文リスト

• FlexiDreamer: Single Image-to-3D Generation with FlexiCubes [20.871847154995688]
  FlexiDreamerは、マルチビュー生成イメージから高品質なメッシュを直接再構築する新しいフレームワークである。 提案手法では,1つの画像から3次元の下流タスクにおいて,約1分で高忠実度3Dメッシュを生成することができる。
  論文  参考訳（メタデータ） (2024-04-01T08:20:18Z)
• Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement [78.48648360358193]
  画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。 我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。 ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
  論文  参考訳（メタデータ） (2023-03-03T17:14:44Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• NeRFFaceEditing: Disentangled Face Editing in Neural Radiance Fields [40.543998582101146]
  ニューラル放射場における幾何と外観の編集とデカップリングを可能にするNeRFFaceEditingを導入する。 提案手法では,ユーザが幾何学と外観の分離した制御を施したセマンティックマスクによる編集が可能となる。 定性的かつ定量的な評価は,既存の解や代替解と比較して,本手法の幾何学的・外見的制御能力に優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-15T08:11:39Z)
• Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
  シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。 本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。 我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
  論文  参考訳（メタデータ） (2022-08-04T14:13:35Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• Black-Box Test-Time Shape REFINEment for Single View 3D Reconstruction [57.805334118057665]
  文献中の任意のブラックボックス方式のパイプラインに容易に組み込むことができる後処理メッシュ改善ステップであるREFINEを提案する。 テスト時には、REFINEはメッシュ毎のネットワークインスタンスを最適化し、メッシュと所定のオブジェクトビュー間の一貫性を促進する。
  論文  参考訳（メタデータ） (2021-08-23T03:28:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。