論文の概要: Dyn-E: Local Appearance Editing of Dynamic Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2307.12909v1
• Date: Mon, 24 Jul 2023 16:08:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 13:45:58.795189
• Title: Dyn-E: Local Appearance Editing of Dynamic Neural Radiance Fields
• Title（参考訳）: Dyn-E:動的ニューラルラジアンスフィールドの局所的な外観編集
• Authors: Shangzhan Zhang, Sida Peng, Yinji ShenTu, Qing Shuai, Tianrun Chen, Kaicheng Yu, Hujun Bao, Xiaowei Zhou
• Abstract要約: トレーニングビデオの1フレームに画素を操作することにより,ダイナミックNeRFの局所的な外観を編集する新しいフレームワークを提案する。 この手法を用いることで、専門知識のないユーザは、ダイナミックなシーンの外観に望ましいコンテンツを容易に追加できる。
• 参考スコア（独自算出の注目度）: 43.28899303348589
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, the editing of neural radiance fields (NeRFs) has gained considerable attention, but most prior works focus on static scenes while research on the appearance editing of dynamic scenes is relatively lacking. In this paper, we propose a novel framework to edit the local appearance of dynamic NeRFs by manipulating pixels in a single frame of training video. Specifically, to locally edit the appearance of dynamic NeRFs while preserving unedited regions, we introduce a local surface representation of the edited region, which can be inserted into and rendered along with the original NeRF and warped to arbitrary other frames through a learned invertible motion representation network. By employing our method, users without professional expertise can easily add desired content to the appearance of a dynamic scene. We extensively evaluate our approach on various scenes and show that our approach achieves spatially and temporally consistent editing results. Notably, our approach is versatile and applicable to different variants of dynamic NeRF representations.
• Abstract（参考訳）: 近年, ニューラルレイディアンスフィールド(NeRF)の編集が注目されているが, 従来の研究は静的なシーンに重点を置いており, 動的シーンの外観編集の研究は比較的不十分である。 本稿では,1フレームのトレーニングビデオに画素を操作することで,ダイナミックNeRFの局所的な外観を編集する新しいフレームワークを提案する。 具体的には、未編集領域を維持しながらダイナミックなnerfの外観をローカルに編集するために、編集された領域の局所的な表面表現を導入する。 この手法を用いることで、専門知識のないユーザは、ダイナミックなシーンの外観に望ましいコンテンツを容易に追加できる。 我々は,様々な場面におけるアプローチを広く評価し,空間的かつ時間的に一貫した編集結果が得られることを示す。 特に,本手法は動的NeRF表現の様々な変種に適用可能である。

関連論文リスト

• DyBluRF: Dynamic Neural Radiance Fields from Blurry Monocular Video [18.424138608823267]
  動きのぼかしに影響を受ける単眼ビデオから鋭い新しいビューを合成する動的放射場アプローチであるDyBluRFを提案する。 入力画像中の動きのぼかしを考慮し、シーン内のカメラ軌跡とオブジェクト離散コサイン変換(DCT)トラジェクトリを同時にキャプチャする。
  論文  参考訳（メタデータ） (2024-03-15T08:48:37Z)
• SealD-NeRF: Interactive Pixel-Level Editing for Dynamic Scenes by Neural Radiance Fields [7.678022563694719]
  SealD-NeRFは、動的な設定でピクセルレベルの編集を行うためのSeal-3Dの拡張である。 編集アクションを特定の時間枠にマッピングすることで、シーケンス間で一貫した編集を可能にする。
  論文  参考訳（メタデータ） (2024-02-21T03:45:18Z)
• OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields [63.04781030984006]
  ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。 本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。 本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-05-24T07:36:47Z)
• Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
  本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
  論文  参考訳（メタデータ） (2023-04-10T08:36:00Z)
• EditableNeRF: Editing Topologically Varying Neural Radiance Fields by Key Points [7.4100592531979625]
  エンドユーザーが動的シーンを簡単に編集できる編集可能なニューラルレイディアンスフィールドを提案する。 我々のネットワークは完全に自動的に訓練され、選択した表面キーポイントを用いてトポロジ的に変動するダイナミクスをモデル化する。 提案手法は直感的な多次元編集(最大3次元)をサポートし,入力シーケンスにない斬新なシーンを生成する。
  論文  参考訳（メタデータ） (2022-12-07T06:08:03Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Editable Free-viewpoint Video Using a Layered Neural Representation [35.44420164057911]
  我々は,スパース16カメラのみを用いた大規模ダイナミックシーンの編集可能な自由視点映像生成のための最初のアプローチを提案する。 私たちのアプローチの核心は、環境そのものを含む各動的エンティティがST-NeRFと呼ばれる時空コヒーレントな神経層放射線表現に定式化される新しい階層化された神経表現です。 実験は,ダイナミックシーンにおける高品質,フォトリアリスティック,編集可能な自由視点映像生成を実現するための手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-04-30T06:50:45Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)
• D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
  そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。 D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。 我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-27T19:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。