論文の概要: 4D-Editor: Interactive Object-level Editing in Dynamic Neural Radiance Fields via Semantic Distillation

• arxiv url: http://arxiv.org/abs/2310.16858v2
• Date: Mon, 6 Nov 2023 03:38:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 18:54:54.284754
• Title: 4D-Editor: Interactive Object-level Editing in Dynamic Neural Radiance Fields via Semantic Distillation
• Title（参考訳）: 4D-Editor:セマンティック蒸留による動的神経放射場における対話型オブジェクトレベルの編集
• Authors: Dadong Jiang, Zhihui Ke, Xiaobo Zhou, Xidong Shi
• Abstract要約: 動的NeRFを編集するための対話型セマンティック駆動編集フレームワークである4D-Editorを提案する。 我々は,編集後の空間的時間的一貫性を維持するために,ハイブリッドな意味的特徴蒸留を取り入れたオリジナルの動的NeRFの拡張を提案する。 さらに,編集後のシーンキャプチャによる穴を埋めるマルチビュー・リジェクション・インペインティングを開発した。
• 参考スコア（独自算出の注目度）: 2.027159474140712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper targets interactive object-level editing (e.g., deletion, recoloring, transformation, composition) in dynamic scenes. Recently, some methods aiming for flexible editing static scenes represented by neural radiance field (NeRF) have shown impressive synthesis quality, while similar capabilities in time-variant dynamic scenes remain limited. To solve this problem, we propose 4D-Editor, an interactive semantic-driven editing framework, allowing editing multiple objects in a dynamic NeRF with user strokes on a single frame. We propose an extension to the original dynamic NeRF by incorporating a hybrid semantic feature distillation to maintain spatial-temporal consistency after editing. In addition, we design Recursive Selection Refinement that significantly boosts object segmentation accuracy within a dynamic NeRF to aid the editing process. Moreover, we develop Multi-view Reprojection Inpainting to fill holes caused by incomplete scene capture after editing. Extensive experiments and editing examples on real-world demonstrate that 4D-Editor achieves photo-realistic editing on dynamic NeRFs. Project page: https://patrickddj.github.io/4D-Editor
• Abstract（参考訳）: 本稿では,動的シーンにおけるインタラクティブなオブジェクトレベルの編集(削除,再色,変換,構成など)を対象とする。 近年,neural radiance field (nerf) で表現された静的シーンを柔軟に編集する手法が提案されているが,時間変化の動的シーンの類似性は限られている。 この問題を解決するために,対話型セマンティック駆動編集フレームワークである4D-Editorを提案する。 我々は,編集後の空間的時間的一貫性を維持するために,ハイブリッドな意味的特徴蒸留を取り入れたオリジナルの動的NeRFの拡張を提案する。 さらに、動的NeRF内のオブジェクト分割精度を大幅に向上させ、編集プロセスを支援するRecursive Selection Refinementを設計する。 さらに,編集後の不完全なシーンキャプチャによる穴を埋めるために,マルチビューのリプロジェクション・インパインティングを開発した。 実世界における大規模な実験と編集例により、4D-Editorが動的NeRF上でのフォトリアリスティックな編集を実現することが示された。 プロジェクトページ:https://patrickddj.github.io/4D-Editor

関連論文リスト

• NeRF-Insert: 3D Local Editing with Multimodal Control Signals [97.91172669905578]
  NeRF-InsertはNeRF編集フレームワークで、ユーザーは柔軟なレベルのコントロールで高品質なローカル編集ができる。 我々は,シーン編集を塗装上の問題として捉え,シーンのグローバルな構造を保たせるようにした。 以上の結果から,視覚的品質が向上し,元のNeRFとの整合性も向上した。
  論文  参考訳（メタデータ） (2024-04-30T02:04:49Z)
• DATENeRF: Depth-Aware Text-based Editing of NeRFs [49.08848777124736]
  我々は、NeRFシーンの深度情報を利用して異なる画像に2D編集を分散する塗装手法を提案する。 以上の結果から,本手法は既存のテキスト駆動型NeRFシーン編集手法よりも,より一貫性があり,ライフライクで,詳細な編集が可能であることが判明した。
  論文  参考訳（メタデータ） (2024-04-06T06:48:16Z)
• SealD-NeRF: Interactive Pixel-Level Editing for Dynamic Scenes by Neural Radiance Fields [7.678022563694719]
  SealD-NeRFは、動的な設定でピクセルレベルの編集を行うためのSeal-3Dの拡張である。 編集アクションを特定の時間枠にマッピングすることで、シーケンス間で一貫した編集を可能にする。
  論文  参考訳（メタデータ） (2024-02-21T03:45:18Z)
• DiffEditor: Boosting Accuracy and Flexibility on Diffusion-based Image Editing [66.43179841884098]
  大規模テキスト・ツー・イメージ(T2I)拡散モデルは、ここ数年で画像生成に革命をもたらした。 既存の拡散型画像編集における2つの弱点を正すためにDiffEditorを提案する。 本手法は,様々な精細な画像編集タスクにおいて,最先端の性能を効率的に達成することができる。
  論文  参考訳（メタデータ） (2024-02-04T18:50:29Z)
• Customize your NeRF: Adaptive Source Driven 3D Scene Editing via Local-Global Iterative Training [61.984277261016146]
  テキスト記述や参照画像を編集プロンプトとして統合するCustomNeRFモデルを提案する。 最初の課題に取り組むために,前景領域編集とフルイメージ編集を交互に行うローカル・グローバル反復編集(LGIE)トレーニング手法を提案する。 第2の課題として、生成モデル内のクラス事前を利用して、一貫性の問題を緩和するクラス誘導正規化を設計する。
  論文  参考訳（メタデータ） (2023-12-04T06:25:06Z)
• ProteusNeRF: Fast Lightweight NeRF Editing using 3D-Aware Image Context [26.07841568311428]
  メモリフットプリントを低く保ちながら、高速で効率的な、非常にシンプルで効果的なニューラルネットワークアーキテクチャを提案する。 我々の表現は、訓練段階における意味的特徴蒸留による簡単なオブジェクト選択を可能にする。 局所的な3D対応画像コンテキストを提案し、ビュー一貫性のある画像編集を容易にし、微調整されたNeRFに抽出する。
  論文  参考訳（メタデータ） (2023-10-15T21:54:45Z)
• Neural Impostor: Editing Neural Radiance Fields with Explicit Shape Manipulation [49.852533321916844]
  マルチグリッドの暗黙の場とともに、明示的な四面体メッシュを組み込んだハイブリッド表現であるNeural Impostorを導入する。 我々のフレームワークは、多グリッドのバリ中心座標符号化を利用して、暗黙のフィールドの明示的な形状操作と幾何的編集を橋渡しする。 合成オブジェクトと実際のキャプチャデータの両方を編集するなど、多様な例や実験を通して、システムの堅牢性と適応性を示す。
  論文  参考訳（メタデータ） (2023-10-09T04:07:00Z)
• Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields [14.803266838721864]
  Seal-3Dでは、ユーザーは幅広いNeRFに似たバックボーンで、ピクセルレベルの自由な方法でNeRFモデルを編集し、編集効果を即座にプレビューすることができる。 様々な編集タイプを展示するために、NeRF編集システムを構築している。
  論文  参考訳（メタデータ） (2023-07-27T18:08:19Z)
• NeuralEditor: Editing Neural Radiance Fields via Manipulating Point Clouds [23.397546605447285]
  本稿では,ニューラル・ラディアンス・フィールド(NeRF)を一般的な形状編集タスクで編集できるニューラル・エディタを提案する。 私たちの重要な洞察は、NeRFを構築するための基盤となる構造として、明示的なポイントクラウド表現を活用することです。 NeuralEditorは、形状変形とシーン変形の両方において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:40Z)
• SINE: Semantic-driven Image-based NeRF Editing with Prior-guided Editing Field [37.8162035179377]
  我々は,1つの画像でニューラルラディアンスフィールドを編集できる,新しい意味駆動型NeRF編集手法を提案する。 この目的を達成するために,3次元空間における微細な幾何学的・テクスチャ的編集を符号化する事前誘導編集場を提案する。 本手法は,1枚の編集画像のみを用いた写真リアルな3D編集を実現し,実世界の3Dシーンにおけるセマンティックな編集の限界を押し上げる。
  論文  参考訳（メタデータ） (2023-03-23T13:58:11Z)
• EditGAN: High-Precision Semantic Image Editing [120.49401527771067]
  EditGANは高品質で高精度なセマンティック画像編集のための新しい手法である。 EditGANは前例のない細部と自由度で画像を操作可能であることを示す。 また、複数の編集を組み合わせることも簡単で、EditGANのトレーニングデータ以外の編集も可能になります。
  論文  参考訳（メタデータ） (2021-11-04T22:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。