論文の概要: SealD-NeRF: Interactive Pixel-Level Editing for Dynamic Scenes by Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2402.13510v1
• Date: Wed, 21 Feb 2024 03:45:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 17:07:52.977566
• Title: SealD-NeRF: Interactive Pixel-Level Editing for Dynamic Scenes by Neural Radiance Fields
• Title（参考訳）: SealD-NeRF:ニューラルラジアンスフィールドによる動的シーンの対話型画素レベル編集
• Authors: Zhentao Huang, Yukun Shi, Neil Bruce, Minglun Gong
• Abstract要約: SealD-NeRFは、動的な設定でピクセルレベルの編集を行うためのSeal-3Dの拡張である。 編集アクションを特定の時間枠にマッピングすることで、シーケンス間で一貫した編集を可能にする。
• 参考スコア（独自算出の注目度）: 7.678022563694719
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The widespread adoption of implicit neural representations, especially Neural Radiance Fields (NeRF), highlights a growing need for editing capabilities in implicit 3D models, essential for tasks like scene post-processing and 3D content creation. Despite previous efforts in NeRF editing, challenges remain due to limitations in editing flexibility and quality. The key issue is developing a neural representation that supports local edits for real-time updates. Current NeRF editing methods, offering pixel-level adjustments or detailed geometry and color modifications, are mostly limited to static scenes. This paper introduces SealD-NeRF, an extension of Seal-3D for pixel-level editing in dynamic settings, specifically targeting the D-NeRF network. It allows for consistent edits across sequences by mapping editing actions to a specific timeframe, freezing the deformation network responsible for dynamic scene representation, and using a teacher-student approach to integrate changes.
• Abstract（参考訳）: 暗黙的な神経表現、特にNeural Radiance Fields(NeRF)の普及は、シーン後処理や3Dコンテンツ作成といったタスクに不可欠な、暗黙的な3Dモデルにおける編集機能の必要性の高まりを強調している。 NeRF編集の以前の取り組みにもかかわらず、編集の柔軟性と品質が制限されているため、課題は残る。 鍵となる問題は、リアルタイム更新のためのローカル編集をサポートするニューラル表現の開発である。 現行のNeRF編集手法では、ピクセルレベルの調整や詳細な幾何学や色の修正がほとんど静的シーンに限られている。 本稿では,D-NeRFネットワークをターゲットとした動的設定における画素レベルの編集のためのSeal-3Dの拡張であるSealD-NeRFを紹介する。 編集動作を特定の時間枠にマッピングし、動的シーン表現に責任のある変形ネットワークを凍結し、教師と学生のアプローチで変更を統合することで、シーケンス間の一貫した編集を可能にする。

関連論文リスト

• IReNe: Instant Recoloring of Neural Radiance Fields [54.94866137102324]
  我々は、NeRFにおける高速、ほぼリアルタイムな色編集を可能にするIReNeを紹介する。 トレーニング済みのNeRFモデルとユーザ対応カラー編集によるトレーニングイメージを併用する。 この調整により、モデルはトレーニング画像からの色変化を正確に表現して、新しいシーンビューを生成することができる。
  論文  参考訳（メタデータ） (2024-05-30T09:30:28Z)
• NeRF-Insert: 3D Local Editing with Multimodal Control Signals [97.91172669905578]
  NeRF-InsertはNeRF編集フレームワークで、ユーザーは柔軟なレベルのコントロールで高品質なローカル編集ができる。 我々は,シーン編集を塗装上の問題として捉え,シーンのグローバルな構造を保たせるようにした。 以上の結果から,視覚的品質が向上し,元のNeRFとの整合性も向上した。
  論文  参考訳（メタデータ） (2024-04-30T02:04:49Z)
• DATENeRF: Depth-Aware Text-based Editing of NeRFs [49.08848777124736]
  我々は、NeRFシーンの深度情報を利用して異なる画像に2D編集を分散する塗装手法を提案する。 以上の結果から,本手法は既存のテキスト駆動型NeRFシーン編集手法よりも,より一貫性があり,ライフライクで,詳細な編集が可能であることが判明した。
  論文  参考訳（メタデータ） (2024-04-06T06:48:16Z)
• Customize your NeRF: Adaptive Source Driven 3D Scene Editing via Local-Global Iterative Training [61.984277261016146]
  テキスト記述や参照画像を編集プロンプトとして統合するCustomNeRFモデルを提案する。 最初の課題に取り組むために,前景領域編集とフルイメージ編集を交互に行うローカル・グローバル反復編集(LGIE)トレーニング手法を提案する。 第2の課題として、生成モデル内のクラス事前を利用して、一貫性の問題を緩和するクラス誘導正規化を設計する。
  論文  参考訳（メタデータ） (2023-12-04T06:25:06Z)
• 4D-Editor: Interactive Object-level Editing in Dynamic Neural Radiance Fields via Semantic Distillation [2.027159474140712]
  動的NeRFを編集するための対話型セマンティック駆動編集フレームワークである4D-Editorを提案する。 我々は,編集後の空間的時間的一貫性を維持するために,ハイブリッドな意味的特徴蒸留を取り入れたオリジナルの動的NeRFの拡張を提案する。 さらに,編集後のシーンキャプチャによる穴を埋めるマルチビュー・リジェクション・インペインティングを開発した。
  論文  参考訳（メタデータ） (2023-10-25T02:20:03Z)
• ProteusNeRF: Fast Lightweight NeRF Editing using 3D-Aware Image Context [26.07841568311428]
  メモリフットプリントを低く保ちながら、高速で効率的な、非常にシンプルで効果的なニューラルネットワークアーキテクチャを提案する。 我々の表現は、訓練段階における意味的特徴蒸留による簡単なオブジェクト選択を可能にする。 局所的な3D対応画像コンテキストを提案し、ビュー一貫性のある画像編集を容易にし、微調整されたNeRFに抽出する。
  論文  参考訳（メタデータ） (2023-10-15T21:54:45Z)
• ED-NeRF: Efficient Text-Guided Editing of 3D Scene with Latent Space NeRF [60.47731445033151]
  ED-NeRFと呼ばれる新しい3次元NeRF編集手法を提案する。 現実のシーンを、ユニークな精細化層を通して、潜時拡散モデル(LDM)の潜時空間に埋め込む。 このアプローチにより、より高速であるだけでなく、より編集しやすいNeRFバックボーンが得られる。
  論文  参考訳（メタデータ） (2023-10-04T10:28:38Z)
• Editing 3D Scenes via Text Prompts without Retraining [80.57814031701744]
  DN2Nはテキスト駆動編集方式であり、普遍的な編集機能を備えたNeRFモデルの直接取得を可能にする。 本手法では,2次元画像のテキストベース編集モデルを用いて3次元シーン画像の編集を行う。 本手法は,外観編集,天気変化,材質変化,スタイル伝達など,複数種類の編集を行う。
  論文  参考訳（メタデータ） (2023-09-10T02:31:50Z)
• Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields [14.803266838721864]
  Seal-3Dでは、ユーザーは幅広いNeRFに似たバックボーンで、ピクセルレベルの自由な方法でNeRFモデルを編集し、編集効果を即座にプレビューすることができる。 様々な編集タイプを展示するために、NeRF編集システムを構築している。
  論文  参考訳（メタデータ） (2023-07-27T18:08:19Z)
• RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models [36.236190350126826]
  本稿では,RGB画像を入力として取り出し,ニューラルシーンの3Dコンテンツを変更可能な新しいフレームワークを提案する。 具体的には,対象オブジェクトを意味的に選択し,事前学習した拡散モデルを用いてNeRFモデルを誘導し,新しい3Dオブジェクトを生成する。 実験の結果,本アルゴリズムは,異なるテキストプロンプト下でのNeRFの3次元オブジェクトの編集に有効であることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T04:49:31Z)
• SINE: Semantic-driven Image-based NeRF Editing with Prior-guided Editing Field [37.8162035179377]
  我々は,1つの画像でニューラルラディアンスフィールドを編集できる,新しい意味駆動型NeRF編集手法を提案する。 この目的を達成するために,3次元空間における微細な幾何学的・テクスチャ的編集を符号化する事前誘導編集場を提案する。 本手法は,1枚の編集画像のみを用いた写真リアルな3D編集を実現し,実世界の3Dシーンにおけるセマンティックな編集の限界を押し上げる。
  論文  参考訳（メタデータ） (2023-03-23T13:58:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。