論文の概要: 3DEgo: 3D Editing on the Go!

• arxiv url: http://arxiv.org/abs/2407.10102v1
• Date: Sun, 14 Jul 2024 07:03:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 19:28:46.617619
• Title: 3DEgo: 3D Editing on the Go!
• Title（参考訳）: 3D Editing on the Go!
• Authors: Umar Khalid, Hasan Iqbal, Azib Farooq, Jing Hua, Chen Chen,
• Abstract要約: 本稿では,テキストプロンプトで案内されたモノクロ映像から3Dシーンを直接合成する新しい問題に対処する3DEgoを紹介する。 本フレームワークは,従来のマルチステージ3D編集プロセスを一段階のワークフローに合理化する。 3DEgoは、様々なビデオソースの編集精度、速度、適応性を示す。
• 参考スコア（独自算出の注目度）: 6.072473323242202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce 3DEgo to address a novel problem of directly synthesizing photorealistic 3D scenes from monocular videos guided by textual prompts. Conventional methods construct a text-conditioned 3D scene through a three-stage process, involving pose estimation using Structure-from-Motion (SfM) libraries like COLMAP, initializing the 3D model with unedited images, and iteratively updating the dataset with edited images to achieve a 3D scene with text fidelity. Our framework streamlines the conventional multi-stage 3D editing process into a single-stage workflow by overcoming the reliance on COLMAP and eliminating the cost of model initialization. We apply a diffusion model to edit video frames prior to 3D scene creation by incorporating our designed noise blender module for enhancing multi-view editing consistency, a step that does not require additional training or fine-tuning of T2I diffusion models. 3DEgo utilizes 3D Gaussian Splatting to create 3D scenes from the multi-view consistent edited frames, capitalizing on the inherent temporal continuity and explicit point cloud data. 3DEgo demonstrates remarkable editing precision, speed, and adaptability across a variety of video sources, as validated by extensive evaluations on six datasets, including our own prepared GS25 dataset. Project Page: https://3dego.github.io/
• Abstract（参考訳）: 我々は3DEgoを導入し,テキストプロンプトで案内されたモノクロ映像からフォトリアリスティックな3Dシーンを直接合成する新しい問題に対処する。 COLMAPのようなStructure-from-Motion(SfM)ライブラリを使ったポーズ推定、未編集の画像で3Dモデルを初期化、編集された画像でデータセットを反復的に更新し、テキストの忠実さで3Dシーンを実現する。 本フレームワークは,COLMAPへの依存を克服し,モデル初期化のコストを削減し,従来の多段階3D編集プロセスを一段ワークフローに合理化する。 我々は,T2I拡散モデルの追加訓練や微調整を必要とせず,多視点編集一貫性を向上させるために設計したノイズブレンダモジュールを組み込むことにより,映像フレームの3次元シーン作成前の編集に拡散モデルを適用した。 3DEgoは3D Gaussian Splattingを使用して、複数のビュー一貫した編集されたフレームから3Dシーンを生成し、固有の時間的連続性と明示的なポイントクラウドデータを活用する。 3DEgoは、GS25データセットを含む6つのデータセットの広範な評価によって検証されるように、様々なビデオソース間での編集精度、速度、適応性を示す。 Project Page: https://3dego.github.io/

関連論文リスト

• Chat-Edit-3D: Interactive 3D Scene Editing via Text Prompts [76.73043724587679]
  CE3Dと呼ばれる対話型3Dシーン編集手法を提案する。 Hash-Atlasは3Dシーンビューを表し、3Dシーンの編集を2Dアトラスイメージに転送する。 その結果、CE3Dは複数の視覚モデルを効果的に統合し、多様な視覚効果が得られることを示した。
  論文  参考訳（メタデータ） (2024-07-09T13:24:42Z)
• DGE: Direct Gaussian 3D Editing by Consistent Multi-view Editing [72.54566271694654]
  オープンな言語命令に基づいて3Dオブジェクトやシーンを編集する際の問題点を考察する。 この問題に対する一般的なアプローチは、3D編集プロセスをガイドするために2Dイメージジェネレータまたはエディタを使用することである。 このプロセスは、コストのかかる3D表現の反復的な更新を必要とするため、しばしば非効率である。
  論文  参考訳（メタデータ） (2024-04-29T17:59:30Z)
• View-Consistent 3D Editing with Gaussian Splatting [50.6460814430094]
  View-Consistent Editing (VcEdit)は、3DGSをシームレスに画像編集プロセスに組み込む新しいフレームワークである。 一貫性モジュールを反復パターンに組み込むことで、VcEditはマルチビューの不整合の問題を十分に解決する。
  論文  参考訳（メタデータ） (2024-03-18T15:22:09Z)
• Efficient-NeRF2NeRF: Streamlining Text-Driven 3D Editing with Multiview Correspondence-Enhanced Diffusion Models [83.97844535389073]
  3Dコンテンツ編集の普及を妨げている大きな障害は、その時間集約的な処理である。 共振器の正規化を拡散モデルに組み込むことで,3次元編集のプロセスを大幅に高速化できることを示す。 多くのシナリオにおいて,提案手法はベースライン法と比較して10$times$の高速化を実現し,2分で3Dシーンの編集を完了させる。
  論文  参考訳（メタデータ） (2023-12-13T23:27:17Z)
• Editing 3D Scenes via Text Prompts without Retraining [80.57814031701744]
  DN2Nはテキスト駆動編集方式であり、普遍的な編集機能を備えたNeRFモデルの直接取得を可能にする。 本手法では,2次元画像のテキストベース編集モデルを用いて3次元シーン画像の編集を行う。 本手法は,外観編集,天気変化,材質変化,スタイル伝達など,複数種類の編集を行う。
  論文  参考訳（メタデータ） (2023-09-10T02:31:50Z)
• Blocks2World: Controlling Realistic Scenes with Editable Primitives [5.541644538483947]
  我々は3Dシーンのレンダリングと編集のための新しい方法であるBlocks2Worldを提案する。 本手法は,コンベックス分解を用いて,各シーンの様々な物体から3次元並列入力を抽出することから始める。 次のステージでは、2Dレンダリングされた凸プリミティブから画像を生成することを学ぶ条件付きモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-07-07T21:38:50Z)
• 3DDesigner: Towards Photorealistic 3D Object Generation and Editing with Text-guided Diffusion Models [71.25937799010407]
  テキスト誘導拡散モデルを用いて3次元連続生成を実現する。 本研究では3次元局所編集について検討し,2段階の解法を提案する。 モデルを拡張してワンショットのノベルビュー合成を行う。
  論文  参考訳（メタデータ） (2022-11-25T13:50:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。