論文の概要: Efficient Dynamic Scene Editing via 4D Gaussian-based Static-Dynamic Separation

• arxiv url: http://arxiv.org/abs/2502.02091v1
• Date: Tue, 04 Feb 2025 08:18:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:59:03.010210
• Title: Efficient Dynamic Scene Editing via 4D Gaussian-based Static-Dynamic Separation
• Title（参考訳）: 4次元ガウスに基づく静的動的分離による効率的な動的シーン編集
• Authors: JooHyun Kwon, Hanbyel Cho, Junmo Kim,
• Abstract要約: 最近の4D動的シーン編集手法では、動的シーン合成に使用される数千の2D画像を編集する必要がある。 これらの手法は動的シーンの時間次元に関して拡張性がない。 本研究では,時間次元の面でよりスケーラブルな動的シーン編集手法を提案する。
• 参考スコア（独自算出の注目度）: 25.047474784265773
• License:
• Abstract: Recent 4D dynamic scene editing methods require editing thousands of 2D images used for dynamic scene synthesis and updating the entire scene with additional training loops, resulting in several hours of processing to edit a single dynamic scene. Therefore, these methods are not scalable with respect to the temporal dimension of the dynamic scene (i.e., the number of timesteps). In this work, we propose an efficient dynamic scene editing method that is more scalable in terms of temporal dimension. To achieve computational efficiency, we leverage a 4D Gaussian representation that models a 4D dynamic scene by combining static 3D Gaussians with a Hexplane-based deformation field, which handles dynamic information. We then perform editing solely on the static 3D Gaussians, which is the minimal but sufficient component required for visual editing. To resolve the misalignment between the edited 3D Gaussians and the deformation field potentially resulting from the editing process, we additionally conducted a refinement stage using a score distillation mechanism. Extensive editing results demonstrate that our method is efficient, reducing editing time by more than half compared to existing methods, while achieving high editing quality that better follows user instructions.
• Abstract（参考訳）: 最近の4Dダイナミックシーン編集手法では、動的シーン合成に使用した何千もの2D画像を編集し、追加のトレーニングループでシーン全体を更新する必要がある。 したがって、これらの手法は動的シーンの時間次元(つまり時間ステップの数)に関して拡張性がない。 本研究では,時間次元の面でよりスケーラブルな動的シーン編集手法を提案する。 本研究では,静的な3次元ガウス場と,動的情報を扱うヘックスプレーンに基づく変形場を組み合わせることで,4次元動的シーンをモデル化する4次元ガウス表現を利用する。 そして、視覚的な編集に必要な最小でも十分なコンポーネントである静的な3Dガウスのみに編集を行う。 編集過程から生じる変形場と3Dガウスのミスアライメントを解消するために, スコア蒸留機構を用いた精製工程も行った。 大規模な編集結果から,提案手法は効率が良く,既存の方法に比べて編集時間が半減し,ユーザの指示に追随するほど高い編集品質が得られることが示された。

関連論文リスト

• DynamicAvatars: Accurate Dynamic Facial Avatars Reconstruction and Precise Editing with Diffusion Models [4.851981427563145]
  ビデオクリップから3Dヘッドアバターを生成するダイナミックモデルであるDynamicAvatarsを提案する。 提案手法は,新規なプロンプトベースの編集モデルによる正確な編集を可能にする。
  論文  参考訳（メタデータ） (2024-11-24T06:22:30Z)
• EditRoom: LLM-parameterized Graph Diffusion for Composable 3D Room Layout Editing [114.14164860467227]
  自然言語コマンドで様々なレイアウト編集を実行できるフレームワークであるEdit-Roomを提案する。 特にEditRoomは、コマンドプランニングとターゲットシーンの生成にLarge Language Models(LLM)を利用している。 既存の3Dシーンデータセットを拡張する自動パイプラインを開発し,83kの編集ペアを備えた大規模データセットであるEditRoom-DBを導入した。
  論文  参考訳（メタデータ） (2024-10-03T17:42:24Z)
• 3D Gaussian Editing with A Single Image [19.662680524312027]
  本稿では,3次元ガウシアンスプラッティングをベースとしたワンイメージ駆動の3Dシーン編集手法を提案する。 提案手法は,ユーザが指定した視点から描画した画像の編集版に合わせるために,3次元ガウスを最適化することを学ぶ。 実験により, 幾何学的詳細処理, 長距離変形, 非剛性変形処理における本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-08-14T13:17:42Z)
• Instruct 4D-to-4D: Editing 4D Scenes as Pseudo-3D Scenes Using 2D Diffusion [30.331519274430594]
  命令4D-to-4Dは、高品質な命令誘導動的シーン編集結果を生成する。 我々は、4Dシーンを擬似3Dシーンとして扱い、ビデオ編集における時間的一貫性を実現し、擬似3Dシーンに適用する2つのサブプロブレムに分解する。 様々な場面でのアプローチと編集指示を幅広く評価し,空間的・時間的に一貫した編集結果が得られることを示した。
  論文  参考訳（メタデータ） (2024-06-13T17:59:30Z)
• 3DitScene: Editing Any Scene via Language-guided Disentangled Gaussian Splatting [100.94916668527544]
  既存の方法は、個々の2Dオブジェクトまたは3Dグローバルシーン編集にのみ焦点をあてる。 本稿では,新鮮で統一的なシーン編集フレームワークである3DitSceneを提案する。 2Dから3Dへのシームレスな編集が可能で、シーン構成や個々のオブジェクトを正確に制御できる。
  論文  参考訳（メタデータ） (2024-05-28T17:59:01Z)
• DragGaussian: Enabling Drag-style Manipulation on 3D Gaussian Representation [57.406031264184584]
  DragGaussianは、3D Gaussian Splattingをベースにした3Dオブジェクトのドラッグ編集フレームワークである。 我々の貢献は、新しいタスクの導入、インタラクティブなポイントベース3D編集のためのDragGaussianの開発、質的かつ定量的な実験によるその効果の包括的検証などである。
  論文  参考訳（メタデータ） (2024-05-09T14:34:05Z)
• DGE: Direct Gaussian 3D Editing by Consistent Multi-view Editing [72.54566271694654]
  オープンな言語命令に基づいて3Dオブジェクトやシーンを編集する際の問題点を考察する。 この問題に対する一般的なアプローチは、3D編集プロセスをガイドするために2Dイメージジェネレータまたはエディタを使用することである。 このプロセスは、コストのかかる3D表現の反復的な更新を必要とするため、しばしば非効率である。
  論文  参考訳（メタデータ） (2024-04-29T17:59:30Z)
• Point'n Move: Interactive Scene Object Manipulation on Gaussian Splatting Radiance Fields [4.5907922403638945]
  Point'n Moveは、露光領域のインペイントによるインタラクティブなシーンオブジェクト操作を実現する方法である。 我々はシーン表現としてガウス・スプレイティング・ラディアンス・フィールドを採用し、その明示的な性質と速度の優位性を完全に活用する。
  論文  参考訳（メタデータ） (2023-11-28T12:33:49Z)
• GaussianEditor: Editing 3D Gaussians Delicately with Text Instructions [90.38892097863814]
  本稿では,3Dガウスアンによる3Dシーンをテキストで微妙に編集する,GaussianEditorという体系的フレームワークを提案する。 我々のフレームワークは、トレーニング速度をはるかに速くしながら、従来の方法よりも繊細で正確な3Dシーンの編集を実現できる。
  論文  参考訳（メタデータ） (2023-11-27T17:58:21Z)
• GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting [66.08674785436612]
  3D編集は、ゲームや仮想現実など、多くの分野で重要な役割を担っている。 メッシュやポイントクラウドのような表現に依存した従来の3D編集手法は、複雑なシーンを現実的に描写するのに不足することが多い。 本稿では,新しい3D表現であるGaussian Splatting(GS)に基づく,革新的で効率的な3D編集アルゴリズムであるGaussianEditorを提案する。
  論文  参考訳（メタデータ） (2023-11-24T14:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。