論文の概要: SCPainter: A Unified Framework for Realistic 3D Asset Insertion and Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2512.22706v1
• Date: Sat, 27 Dec 2025 21:28:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.186633
• Title: SCPainter: A Unified Framework for Realistic 3D Asset Insertion and Novel View Synthesis
• Title（参考訳）: SCPainter: リアルな3次元アセット挿入と新しいビュー合成のための統一フレームワーク
• Authors: Paul Dobre, Jackson Cooper, Xin Wang, Hongzhou Yang,
• Abstract要約: 3Dアセット挿入と新しいビュー合成(NVS)は、自律運転シミュレーションの鍵となる要素であり、トレーニングデータの多様性を高める。 本稿では3次元Splat(GS)カーアセット表現と3次元シーンポイントクラウドを拡散ベース生成と統合した統合フレームワークSCPainterを提案する。 3D GSアセットと3D シーンポイントクラウドは、新しいビューに投影され、これらのプロジェクションを使用して、拡散モデルを用いて高品質な画像を生成する。
• 参考スコア（独自算出の注目度）: 3.614325475261039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D Asset insertion and novel view synthesis (NVS) are key components for autonomous driving simulation, enhancing the diversity of training data. With better training data that is diverse and covers a wide range of situations, including long-tailed driving scenarios, autonomous driving models can become more robust and safer. This motivates a unified simulation framework that can jointly handle realistic integration of inserted 3D assets and NVS. Recent 3D asset reconstruction methods enable reconstruction of dynamic actors from video, supporting their re-insertion into simulated driving scenes. While the overall structure and appearance can be accurate, it still struggles to capture the realism of 3D assets through lighting or shadows, particularly when inserted into scenes. In parallel, recent advances in NVS methods have demonstrated promising results in synthesizing viewpoints beyond the originally recorded trajectories. However, existing approaches largely treat asset insertion and NVS capabilities in isolation. To allow for interaction with the rest of the scene and to enable more diverse creation of new scenarios for training, realistic 3D asset insertion should be combined with NVS. To address this, we present SCPainter (Street Car Painter), a unified framework which integrates 3D Gaussian Splat (GS) car asset representations and 3D scene point clouds with diffusion-based generation to jointly enable realistic 3D asset insertion and NVS. The 3D GS assets and 3D scene point clouds are projected together into novel views, and these projections are used to condition a diffusion model to generate high quality images. Evaluation on the Waymo Open Dataset demonstrate the capability of our framework to enable 3D asset insertion and NVS, facilitating the creation of diverse and realistic driving data.
• Abstract（参考訳）: 3Dアセット挿入と新しいビュー合成(NVS)は、自律運転シミュレーションの鍵となる要素であり、トレーニングデータの多様性を高める。 より多様なトレーニングデータと、長い尾の運転シナリオを含む幅広い状況をカバーすることで、自律運転モデルはより堅牢で安全なものになる。 これは、挿入された3DアセットとNVSの現実的な統合を共同で処理できる統合シミュレーションフレームワークを動機付けている。 近年の3Dアセット再構築手法により,映像からの動的アクターの再構築が可能となり,再現された運転シーンへの再挿入を支援する。 全体構造と外観は正確だが、特にシーンに挿入された場合、照明や影を通して3Dアセットのリアリズムを捉えるのに苦労している。 並行して、NVS法の最近の進歩は、もともと記録された軌跡を超えて視点を合成する有望な結果を示している。 しかし、既存のアプローチは、アセット挿入とNVS機能を独立して扱うことが多い。 シーンの他の部分とのインタラクションを可能にし、トレーニング用の新たなシナリオのより多様な生成を可能にするためには、現実的な3Dアセット挿入とNVSを組み合わせる必要がある。 SCPainter(Street Car Painter)は,3次元ガウススプレート(GS)カーアセット表現と3次元シーンポイントクラウドを統合し,現実的な3次元アセット挿入とNVSを実現する統合フレームワークである。 3D GSアセットと3D シーンポイントクラウドは、新しいビューに投影され、これらのプロジェクションを使用して、拡散モデルを用いて高品質な画像を生成する。 Waymo Open Datasetの評価は、3Dアセット挿入とNVSを可能にするフレームワークの能力を示し、多種多様な現実的な駆動データの作成を容易にする。

関連論文リスト

• Unified Semantic Transformer for 3D Scene Understanding [55.415468022487005]
  我々は、単一のモデル内に多様な3Dセマンティックタスクを統一する新しいフィードフォワードニューラルネットワークUNITEを紹介する。 我々のモデルは、完全なエンドツーエンドで見えないシーンで動作し、完全な3Dセマンティックジオメトリを推測するのにほんの数秒しかかからない。 UNITEはいくつかの異なる意味的タスクにおいて最先端のパフォーマンスを達成し、タスク固有のモデルよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2025-12-16T12:49:35Z)
• ArtiWorld: LLM-Driven Articulation of 3D Objects in Scenes [43.19849355456126]
  ArtiWorldは、テキストシーン記述から候補のアーティキュラブルオブジェクトをローカライズする、シーン認識パイプラインである。 このパイプラインのコアとなるArti4URDFは、3Dポイントクラウドと大規模言語モデルの事前知識を活用している。 ArtiWorldを3つのレベル(3Dシミュレーションオブジェクト、フル3Dシミュレーションシーン、実世界のスキャンシーン)で評価する。
  論文  参考訳（メタデータ） (2025-11-17T04:59:21Z)
• SceneGen: Single-Image 3D Scene Generation in One Feedforward Pass [44.087747627571716]
  3Dコンテンツ生成は、VR/ARとAIの具体化によって、大きな研究関心を集めている。 シーンイメージと対応するオブジェクトマスクを入力として,同時に複数の3Dアセットを生成する新しいフレームワークであるSceneGenを提案する。 このパラダイムは、高品質な3Dコンテンツ生成のための新しいソリューションを提供し、下流タスクにおける実践的応用を推し進める可能性があると考えています。
  論文  参考訳（メタデータ） (2025-08-21T17:59:16Z)
• R3D2: Realistic 3D Asset Insertion via Diffusion for Autonomous Driving Simulation [78.26308457952636]
  本稿では,自律運転シミュレーションの限界を克服する軽量な1ステップ拡散モデルであるR3D2を紹介する。 シャドウや一貫した照明など、妥当なレンダリング効果を生み出すことで、既存のシーンに完全な3Dアセットを現実的に挿入することができる。 R3D2は挿入されたアセットの現実性を大幅に向上させ,テキストから3Dへのアセット挿入やクロスシーン/データセットオブジェクト転送といったユースケースを可能にした。
  論文  参考訳（メタデータ） (2025-06-09T14:50:19Z)
• MagicDrive3D: Controllable 3D Generation for Any-View Rendering in Street Scenes [72.02827211293736]
  MagicDrive3Dは、コントロール可能な3Dストリートシーン生成のための新しいフレームワークである。 ロードマップ、3Dオブジェクト、テキスト記述を含むマルチコンディション制御をサポートする。 多様な高品質な3Dドライビングシーンを生成し、任意のビューレンダリングをサポートし、BEVセグメンテーションのような下流タスクを強化する。
  論文  参考訳（メタデータ） (2024-05-23T12:04:51Z)
• Learning 3D Dynamic Scene Representations for Robot Manipulation [21.6131570689398]
  ロボット操作のための3Dシーン表現は、永続性、完全性、連続性という3つの重要なオブジェクト特性を捉えなければならない。 本研究では3次元動的表現(DSR)を導入し,オブジェクトを同時に検出,追跡,再構成し,そのダイナミクスを予測する。 本稿では,DSRを段階的に構築・洗練するために,複数の相互作用を通して視覚的観察を集約することを学ぶDSR-Netを提案する。
  論文  参考訳（メタデータ） (2020-11-03T19:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。