論文の概要: GenN2N: Generative NeRF2NeRF Translation

• arxiv url: http://arxiv.org/abs/2404.02788v1
• Date: Wed, 3 Apr 2024 14:56:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 17:11:28.087110
• Title: GenN2N: Generative NeRF2NeRF Translation
• Title（参考訳）: GenN2N:生成するNeRF2NeRF翻訳
• Authors: Xiangyue Liu, Han Xue, Kunming Luo, Ping Tan, Li Yi,
• Abstract要約: GenN2Nは、様々なNeRF翻訳タスクのための統一されたNeRF-to-NeRF翻訳フレームワークである。 2Dドメインの編集と2D編集を3D NeRF空間に持ち上げるために、プラグイン・アンド・プレイのイメージ・ツー・イメージ・トランスレータを使用している。
• 参考スコア（独自算出の注目度）: 53.20986183316661
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present GenN2N, a unified NeRF-to-NeRF translation framework for various NeRF translation tasks such as text-driven NeRF editing, colorization, super-resolution, inpainting, etc. Unlike previous methods designed for individual translation tasks with task-specific schemes, GenN2N achieves all these NeRF editing tasks by employing a plug-and-play image-to-image translator to perform editing in the 2D domain and lifting 2D edits into the 3D NeRF space. Since the 3D consistency of 2D edits may not be assured, we propose to model the distribution of the underlying 3D edits through a generative model that can cover all possible edited NeRFs. To model the distribution of 3D edited NeRFs from 2D edited images, we carefully design a VAE-GAN that encodes images while decoding NeRFs. The latent space is trained to align with a Gaussian distribution and the NeRFs are supervised through an adversarial loss on its renderings. To ensure the latent code does not depend on 2D viewpoints but truly reflects the 3D edits, we also regularize the latent code through a contrastive learning scheme. Extensive experiments on various editing tasks show GenN2N, as a universal framework, performs as well or better than task-specific specialists while possessing flexible generative power. More results on our project page: https://xiangyueliu.github.io/GenN2N/
• Abstract（参考訳）: 我々は,テキスト駆動のNeRF編集,カラー化,高解像度化,塗装など,さまざまなNeRF翻訳タスクのための統一されたNeRF-to-NeRF翻訳フレームワークGenN2Nを提案する。 GenN2Nは、タスク固有のスキームを持つ個別の翻訳タスク用に設計された従来の方法とは異なり、プラグイン・アンド・プレイのイメージ・ツー・イメージ・トランスレータを使用して2Dドメインで編集を行い、2D編集を3D NeRF空間に持ち上げることで、これらすべてのNeRF編集タスクを達成している。 2次元編集の3次元整合性は保証されない可能性があるため、生成モデルを用いて基礎となる3次元編集の分布をモデル化し、編集可能なすべてのNeRFをカバーすることを提案する。 2次元編集画像から3次元編集されたNeRFの分布をモデル化するために,NeRFを復号化しながら画像を符号化するVAE-GANを慎重に設計する。 潜伏空間はガウス分布と整合するように訓練され、NeRFはそのレンダリングの逆損失によって監督される。 遅延コードは2次元の視点に頼らず、真の3次元編集を反映するようにするため、コントラスト学習方式を用いて遅延コードを正規化する。 様々な編集タスクに関する大規模な実験では、GenN2Nは普遍的なフレームワークとして、柔軟な生成能力を持ちながら、タスク固有のスペシャリストと同等かそれ以上の性能を発揮している。 プロジェクトページのさらなる結果:https://xiangyueliu.github.io/GenN2N/

関連論文リスト

• DragGaussian: Enabling Drag-style Manipulation on 3D Gaussian Representation [57.406031264184584]
  DragGaussianは、3D Gaussian Splattingをベースにした3Dオブジェクトのドラッグ編集フレームワークである。 我々の貢献は、新しいタスクの導入、インタラクティブなポイントベース3D編集のためのDragGaussianの開発、質的かつ定量的な実験によるその効果の包括的検証などである。
  論文  参考訳（メタデータ） (2024-05-09T14:34:05Z)
• ViCA-NeRF: View-Consistency-Aware 3D Editing of Neural Radiance Fields [45.020585071312475]
  ViCA-NeRFはテキストによる3D編集のための最初のビュー一貫性対応方式である。 我々は、異なるビューにまたがって編集情報を明示的に伝達する正規化の2つの源を利用する。
  論文  参考訳（メタデータ） (2024-02-01T18:59:09Z)
• LatentEditor: Text Driven Local Editing of 3D Scenes [8.966537479017951]
  テキストプロンプトを用いたニューラルネットワークの精密かつ局所的な編集のためのフレームワークであるtextscLatentEditorを紹介する。 現実のシーンを潜伏空間に埋め込むことに成功したので、より高速で適応性の高いNeRFバックボーンが編集に役立ちます。 提案手法は既存の3D編集モデルと比較して高速な編集速度と出力品質を実現する。
  論文  参考訳（メタデータ） (2023-12-14T19:38:06Z)
• ED-NeRF: Efficient Text-Guided Editing of 3D Scene with Latent Space NeRF [60.47731445033151]
  ED-NeRFと呼ばれる新しい3次元NeRF編集手法を提案する。 現実のシーンを、ユニークな精細化層を通して、潜時拡散モデル(LDM)の潜時空間に埋め込む。 このアプローチにより、より高速であるだけでなく、より編集しやすいNeRFバックボーンが得られる。
  論文  参考訳（メタデータ） (2023-10-04T10:28:38Z)
• RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models [36.236190350126826]
  本稿では,RGB画像を入力として取り出し,ニューラルシーンの3Dコンテンツを変更可能な新しいフレームワークを提案する。 具体的には,対象オブジェクトを意味的に選択し,事前学習した拡散モデルを用いてNeRFモデルを誘導し,新しい3Dオブジェクトを生成する。 実験の結果,本アルゴリズムは,異なるテキストプロンプト下でのNeRFの3次元オブジェクトの編集に有効であることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T04:49:31Z)
• FaceDNeRF: Semantics-Driven Face Reconstruction, Prompt Editing and Relighting with Diffusion Models [67.17713009917095]
  単一画像から高品質な顔NeRFを再構成する新しい生成法であるFace Diffusion NeRF(FaceDNeRF)を提案する。 慎重に設計された照明とID保存損失により、FaceDNeRFは編集プロセスの非並列制御を提供する。
  論文  参考訳（メタデータ） (2023-06-01T15:14:39Z)
• FeatureNeRF: Learning Generalizable NeRFs by Distilling Foundation Models [21.523836478458524]
  一般化可能なNeRFに関する最近の研究は、単一または少数の画像からの新規なビュー合成に関する有望な結果を示している。 本研究では,事前学習された視覚モデルを蒸留することにより,一般化可能なNeRFを学習するためのFeatureNeRFという新しいフレームワークを提案する。 一般化可能な3次元特徴抽出器としてのFeatureNeRFの有効性を実証した。
  論文  参考訳（メタデータ） (2023-03-22T17:57:01Z)
• Removing Objects From Neural Radiance Fields [60.067117643543824]
  RGB-Dシーケンスから生成されたNeRF表現からオブジェクトを除去するフレームワークを提案する。 当社のNeRF塗装法は,最近の2次元画像塗装技術を活用し,ユーザが提供するマスクでガイドされる。 提案手法は多視点コヒーレントな方法で可塑性塗料の合成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-22T18:51:06Z)
• Sem2NeRF: Converting Single-View Semantic Masks to Neural Radiance Fields [49.41982694533966]
  本稿では,1つの単一ビューセマンティックマスクを入力として条件付けしたSemantic-to-NeRF変換を提案する。 特に、Sem2NeRFは、事前訓練されたデコーダの3Dシーン表現を制御する潜在コードにセマンティックマスクをエンコードすることで、非常に困難なタスクに対処する。 提案したSem2NeRFの有効性を検証し、2つのベンチマークデータセット上でいくつかの強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-21T09:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。