論文の概要: EditableNeRF: Editing Topologically Varying Neural Radiance Fields by Key Points

• arxiv url: http://arxiv.org/abs/2212.04247v1
• Date: Wed, 7 Dec 2022 06:08:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 15:51:29.268307
• Title: EditableNeRF: Editing Topologically Varying Neural Radiance Fields by Key Points
• Title（参考訳）: 編集可能なNeRF: トポロジカルに可変なニューラルラジアンスフィールドをキーポイントで編集する
• Authors: Chengwei Zheng, Wenbin Lin, Feng Xu
• Abstract要約: エンドユーザーが動的シーンを簡単に編集できる編集可能なニューラルレイディアンスフィールドを提案する。 我々のネットワークは完全に自動的に訓練され、トポロジ的に変化するダイナミクスをモデル化する。 提案手法は直感的な多次元編集(最大3次元)をサポートし,入力シーケンスにない斬新なシーンを生成する。
• 参考スコア（独自算出の注目度）: 7.4100592531979625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural radiance fields (NeRF) achieve highly photo-realistic novel-view synthesis, but it's a challenging problem to edit the scenes modeled by NeRF-based methods, especially for dynamic scenes. We propose editable neural radiance fields that enable end-users to easily edit dynamic scenes and even support topological changes. Input with an image sequence from a single camera, our network is trained fully automatically and models topologically varying dynamics using our picked-out surface key points. Then end-users can edit the scene by easily dragging the key points to desired new positions. To achieve this, we propose a scene analysis method to detect and initialize key points by considering the dynamics in the scene, and a weighted key points strategy to model topologically varying dynamics by joint key points and weights optimization. Our method supports intuitive multi-dimensional (up to 3D) editing and can generate novel scenes that are unseen in the input sequence. Experiments demonstrate that our method achieves high-quality editing on various dynamic scenes and outperforms the state-of-the-art. We will release our code and captured data.
• Abstract（参考訳）: ニューラルレイディアンス場(NeRF)は、高光写実的ノベルビュー合成を実現するが、特にダイナミックシーンにおいて、NeRFベースの手法でモデル化されたシーンを編集することは難しい問題である。 本稿では,動的シーンの編集やトポロジ的変化の支援などが可能な編集可能なニューラルレイディアンスフィールドを提案する。 一つのカメラから画像シーケンスを入力すると、ネットワークは完全に自動的に訓練され、選択した表面キーポイントを用いて位相的に変化するダイナミクスをモデル化する。 そして、エンドユーザーは、キーポイントを必要な新しい位置にドラッグするだけでシーンを編集できる。 そこで本研究では,シーン内のダイナミクスを考慮し,キーポイントの検出と初期化を行うシーン分析手法と,結合キーポイントと重み付け最適化による位相変化ダイナミクスをモデル化する重み付きキーポイント戦略を提案する。 提案手法は直感的な多次元編集(最大3次元)をサポートし,入力シーケンスにない斬新なシーンを生成する。 実験により,様々な動的シーンで高品質な編集が可能となり,最先端を上回っていることを示す。 コードを公開し、データをキャプチャします。

関連論文リスト

• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• Dyn-E: Local Appearance Editing of Dynamic Neural Radiance Fields [43.28899303348589]
  トレーニングビデオの1フレームに画素を操作することにより,ダイナミックNeRFの局所的な外観を編集する新しいフレームワークを提案する。 この手法を用いることで、専門知識のないユーザは、ダイナミックなシーンの外観に望ましいコンテンツを容易に追加できる。
  論文  参考訳（メタデータ） (2023-07-24T16:08:32Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• NeRF-Editing: Geometry Editing of Neural Radiance Fields [43.256317094173795]
  暗黙のニューラルレンダリングは、シーンの新規なビュー合成において大きな可能性を示している。 本研究では,シーンの暗黙的な表現に対して,ユーザが制御可能な形状変形を実行できるようにする手法を提案する。 我々のフレームワークは、合成データだけでなく、ユーザによってキャプチャされた実際のシーンでも理想的な編集結果を得ることができる。
  論文  参考訳（メタデータ） (2022-05-10T15:35:52Z)
• Control-NeRF: Editable Feature Volumes for Scene Rendering and Manipulation [58.16911861917018]
  高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。 モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。 我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
  論文  参考訳（メタデータ） (2022-04-22T17:57:00Z)
• Editing Conditional Radiance Fields [40.685602081728554]
  ニューラルラジアンスフィールド(NeRF)は、シーンごとに最適化された高品質のビュー合成をサポートするシーンモデルです。 本稿では,形状カテゴリで学習したカテゴリレベルのnrfのユーザ編集を可能にすることを検討する。 局所領域の色や形状を変更するために,粗い2次元ユーザスクリブルを3次元空間に伝播させる手法を提案する。
  論文  参考訳（メタデータ） (2021-05-13T17:59:48Z)
• Editable Free-viewpoint Video Using a Layered Neural Representation [35.44420164057911]
  我々は,スパース16カメラのみを用いた大規模ダイナミックシーンの編集可能な自由視点映像生成のための最初のアプローチを提案する。 私たちのアプローチの核心は、環境そのものを含む各動的エンティティがST-NeRFと呼ばれる時空コヒーレントな神経層放射線表現に定式化される新しい階層化された神経表現です。 実験は,ダイナミックシーンにおける高品質,フォトリアリスティック,編集可能な自由視点映像生成を実現するための手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-04-30T06:50:45Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)
• D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
  そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。 D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。 我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-27T19:06:50Z)
• Neural Scene Graphs for Dynamic Scenes [57.65413768984925]
  動的シーンをシーングラフに分解する最初のニューラルレンダリング手法を提案する。 我々は暗黙的に符号化されたシーンと、単一の暗黙の関数でオブジェクトを記述するために共同で学習された潜在表現を組み合わせる。
  論文  参考訳（メタデータ） (2020-11-20T12:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。