論文の概要: DriveEditor: A Unified 3D Information-Guided Framework for Controllable Object Editing in Driving Scenes

• arxiv url: http://arxiv.org/abs/2412.19458v2
• Date: Mon, 30 Dec 2024 02:52:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 12:42:29.719282
• Title: DriveEditor: A Unified 3D Information-Guided Framework for Controllable Object Editing in Driving Scenes
• Title（参考訳）: DriveEditor: 運転シーンにおける制御可能なオブジェクト編集のための統合された3D情報ガイドフレームワーク
• Authors: Yiyuan Liang, Zhiying Yan, Liqun Chen, Jiahuan Zhou, Luxin Yan, Sheng Zhong, Xu Zou,
• Abstract要約: DriveEditorは、動画のオブジェクト編集のための拡散ベースのフレームワークである。 再配置、置換、削除、挿入を含む包括的なオブジェクト編集操作のための統一されたフレームワークを提供する。
• 参考スコア（独自算出の注目度）: 23.215760822443194
• License:
• Abstract: Vision-centric autonomous driving systems require diverse data for robust training and evaluation, which can be augmented by manipulating object positions and appearances within existing scene captures. While recent advancements in diffusion models have shown promise in video editing, their application to object manipulation in driving scenarios remains challenging due to imprecise positional control and difficulties in preserving high-fidelity object appearances. To address these challenges in position and appearance control, we introduce DriveEditor, a diffusion-based framework for object editing in driving videos. DriveEditor offers a unified framework for comprehensive object editing operations, including repositioning, replacement, deletion, and insertion. These diverse manipulations are all achieved through a shared set of varying inputs, processed by identical position control and appearance maintenance modules. The position control module projects the given 3D bounding box while preserving depth information and hierarchically injects it into the diffusion process, enabling precise control over object position and orientation. The appearance maintenance module preserves consistent attributes with a single reference image by employing a three-tiered approach: low-level detail preservation, high-level semantic maintenance, and the integration of 3D priors from a novel view synthesis model. Extensive qualitative and quantitative evaluations on the nuScenes dataset demonstrate DriveEditor's exceptional fidelity and controllability in generating diverse driving scene edits, as well as its remarkable ability to facilitate downstream tasks. Project page: https://yvanliang.github.io/DriveEditor.
• Abstract（参考訳）: 視覚中心の自律運転システムは、堅牢なトレーニングと評価のために多様なデータを必要とする。 近年の拡散モデルの進歩はビデオ編集において有望なものとなっているが、不正確な位置制御と高忠実度オブジェクトの出現の保存が困難であることから、駆動シナリオにおけるオブジェクト操作への応用は依然として困難である。 位置と外観の制御におけるこれらの課題に対処するため,ドライブ編集装置(DriveEditor)を紹介した。 DriveEditorは、再配置、置換、削除、挿入を含む包括的なオブジェクト編集操作のための統一されたフレームワークを提供する。 これらの多様な操作はすべて、同じ位置制御と外観維持モジュールによって処理される様々な入力の共有セットによって達成される。 位置制御モジュールは、深さ情報を保存しながら所定の3次元境界ボックスを投影し、拡散過程に階層的に注入し、物体の位置と向きの正確な制御を可能にする。 外観維持モジュールは、低レベルディテール保存、高レベルセマンティックメンテナンス、新しいビュー合成モデルからの3D事前の統合という3段階のアプローチを用いて、単一の参照画像と一貫した属性を保存する。 nuScenesデータセットの大規模な定性的および定量的評価は、DriveEditorが様々な駆動シーン編集を生成する際の例外的な忠実さと制御性を示し、下流タスクを促進できる優れた能力を示している。 プロジェクトページ: https://yvanliang.github.io/DriveEditor.com

関連論文リスト

• Manipulating Vehicle 3D Shapes through Latent Space Editing [0.0]
  本稿では,車載3Dモデルに対する連続的,高精度,属性特異的な修正を可能にする,事前学習型回帰器を用いたフレームワークを提案する。 提案手法は,車両3Dオブジェクトの固有性を保持するだけでなく,多属性編集もサポートしており,モデルの構造的整合性を損なうことなく,広範囲のカスタマイズが可能となる。
  論文  参考訳（メタデータ） (2024-10-31T13:41:16Z)
• EditRoom: LLM-parameterized Graph Diffusion for Composable 3D Room Layout Editing [114.14164860467227]
  自然言語コマンドで様々なレイアウト編集を実行できるフレームワークであるEdit-Roomを提案する。 特にEditRoomは、コマンドプランニングとターゲットシーンの生成にLarge Language Models(LLM)を利用している。 既存の3Dシーンデータセットを拡張する自動パイプラインを開発し,83kの編集ペアを備えた大規模データセットであるEditRoom-DBを導入した。
  論文  参考訳（メタデータ） (2024-10-03T17:42:24Z)
• TrAME: Trajectory-Anchored Multi-View Editing for Text-Guided 3D Gaussian Splatting Manipulation [35.951718189386845]
  TAS(Trajectory-Anchored Scheme)による複数ビューの整合性を保証するプログレッシブな3D編集戦略を提案する。 TASは2Dビュー編集と3D更新の間に密結合された反復プロセスを促進し、テキスト・ツー・イメージ・プロセスから得られるエラーの蓄積を防ぐ。 本稿では,2次元ビューの編集中に,ソースブランチからのクロスビューセマンティクスと幾何参照を利用して,対象ブランチからアライメントされたビューを出力する,調整不要なビュー一貫性注意制御(VCAC)モジュールを提案する。
  論文  参考訳（メタデータ） (2024-07-02T08:06:58Z)
• HOI-Swap: Swapping Objects in Videos with Hand-Object Interaction Awareness [57.18183962641015]
  本稿では,自己指導型ビデオ編集フレームワークHOI-Swapについて紹介する。 第1ステージでは、HOI認識を備えた単一フレームでのオブジェクトスワップに焦点を当てている。 第2ステージは、シーケンス全体にわたって単一フレームの編集を拡張する。
  論文  参考訳（メタデータ） (2024-06-11T22:31:29Z)
• View-Consistent 3D Editing with Gaussian Splatting [50.6460814430094]
  View-Consistent Editing (VcEdit)は、3DGSをシームレスに画像編集プロセスに組み込む新しいフレームワークである。 一貫性モジュールを反復パターンに組み込むことで、VcEditはマルチビューの不整合の問題を十分に解決する。
  論文  参考訳（メタデータ） (2024-03-18T15:22:09Z)
• VASE: Object-Centric Appearance and Shape Manipulation of Real Videos [108.60416277357712]
  本研究では,オブジェクトの外観と,特にオブジェクトの精密かつ明示的な構造的変更を実行するために設計された,オブジェクト中心のフレームワークを紹介する。 我々は,事前学習した画像条件拡散モデル上にフレームワークを構築し,時間次元を扱うためのレイヤを統合するとともに,形状制御を実現するためのトレーニング戦略とアーキテクチャ修正を提案する。 我々は,画像駆動映像編集タスクにおいて,最先端技術に類似した性能を示し,新しい形状編集機能を示す手法について検討した。
  論文  参考訳（メタデータ） (2024-01-04T18:59:24Z)
• Plasticine3D: 3D Non-Rigid Editing with Text Guidance by Multi-View Embedding Optimization [21.8454418337306]
  本研究では,3次元非剛性編集が可能なテキスト誘導型3D編集パイプラインであるPlastine3Dを提案する。 本研究は,編集過程を幾何学的編集段階とテクスチャ的編集段階に分割し,構造と外観を別々に制御する。 細粒度制御のために,埋め込み空間の編集目的と原特徴を融合させるエンベディング・フュージョン (EF) を提案する。
  論文  参考訳（メタデータ） (2023-12-15T09:01:54Z)
• Fine-grained Controllable Video Generation via Object Appearance and Context [74.23066823064575]
  細粒度制御可能なビデオ生成法(FACTOR)を提案する。 FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。 本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
  論文  参考訳（メタデータ） (2023-12-05T17:47:33Z)
• MotionEditor: Editing Video Motion via Content-Aware Diffusion [96.825431998349]
  MotionEditorはビデオモーション編集のための拡散モデルである。 新たなコンテンツ対応モーションアダプタをControlNetに組み込んで、時間的モーション対応をキャプチャする。
  論文  参考訳（メタデータ） (2023-11-30T18:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。