論文の概要: RealityBridge: Bridging Editable 3D Gaussian Splatting Driving Simulations and Real-World Videos

• arxiv url: http://arxiv.org/abs/2606.16278v1
• Date: Mon, 15 Jun 2026 06:33:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.120939
• Title: RealityBridge: Bridging Editable 3D Gaussian Splatting Driving Simulations and Real-World Videos
• Title（参考訳）: RealityBridge: 編集可能な3Dガウシアン・スプレイティング・ドライビング・シミュレーションとリアルワールドビデオ
• Authors: Zhenhua Wu, Yun Pang, Mingkun Chang, Yuwei Ning, Liangzhi Wang, Yi Xiao, Guanbin Li,
• Abstract要約: 本稿では3DGS駆動ビデオの編集のための構造保存・アセット対応のSim-to-Realフレームワークを提案する。 RealityBridgeは、レンダリングビデオ、前景マスク、エッジマップ、セマンティックマスクを含むマルチモーダルコントロールと、軽量なGateNetを使用する。 実験により、RealityBridgeは、アーティファクトの除去、照明、長時間の時間的一貫性において、既存の手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 40.2251078105003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-tail hazardous scenarios are essential for safety-oriented autonomous driving, yet they are difficult to collect and reproduce at scale. Editable 3D Gaussian Splatting (3DGS) simulation offers a promising alternative by reconstructing real driving scenes and supporting controllable scene editing. However, edited 3DGS-rendered videos still suffer from a significant Sim-to-Real gap, including rendering artifacts, degraded foreground assets, inconsistent illumination, and temporal flickering. Existing restoration and video generation methods are insufficient for this task, as they often fail to jointly repair 3DGS-specific artifacts, improve visual realism, and ensure temporal consistency. To fill this gap, we propose RealityBridge, a structure-preserving and asset-aware Sim-to-Real framework for edited 3DGS driving videos. RealityBridge uses multimodal controls, including rendered videos, foreground masks, edge maps, and semantic masks, together with a lightweight GateNet for adaptive condition allocation across backbone layers. We further construct targeted training data and introduce autoregressive long-video training with reward-guided post-training to improve restoration quality, temporal stability, and hallucination suppression. Extensive experiments on internal and public driving datasets show that RealityBridge outperforms existing methods in artifact removal, illumination harmonization, and long-sequence temporal consistency.
• Abstract（参考訳）: 長距離危険シナリオは、安全指向の自動運転には不可欠であるが、大規模な収集と再現は困難である。 編集可能な3Dガウススプラッティング(3DGS)シミュレーションは、実際の運転シーンを再構築し、制御可能なシーン編集をサポートすることで、有望な代替手段を提供する。 しかし、編集された3DGSのレンダリングビデオは、レンダリングアーティファクト、劣化した前景の資産、一貫性のない照明、時間的フレッカリングなど、重要なSim-to-Realギャップに悩まされている。 3DGS固有のアーティファクトを共同で修復し、視覚的リアリズムを改善し、時間的整合性を確保するために、既存の復元とビデオ生成方法は不十分である。 このギャップを埋めるために,3DGS駆動ビデオ編集のための構造保存・アセット対応のSim-to-Realフレームワークである RealityBridge を提案する。 RealityBridgeは、レンダリングビデオ、フォアグラウンドマスク、エッジマップ、セマンティックマスクを含むマルチモーダルコントロールと、バックボーン層間の適応条件アロケーションのための軽量なGateNetを使用する。 さらに、目標とするトレーニングデータを構築し、報酬誘導後トレーニングによる自己回帰的ロングビデオトレーニングを導入し、修復品質、時間的安定性、幻覚抑制を改善した。 内部および公共の運転データセットに関する大規模な実験により、RealityBridgeは、アーティファクトの除去、照明調和、長時間の時間的一貫性において、既存の手法よりも優れていることが示された。

関連論文リスト

• DriveCtrl: Conditioned Sim-to-Real Driving Video Generation [16.424889754682727]
  DriveCtrlは、リアルな駆動ビデオ合成のための制御可能なsim-to-realビデオ生成フレームワークである。 シミュレーション映像をリアルな実世界のデータセットの視覚スタイルに合わせたリアルな運転映像に変換するスケーラブルなデータ生成パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-05-14T17:29:35Z)
• CityRAG: Stepping Into a City via Spatially-Grounded Video Generation [61.843558834675065]
  本研究では,空間的に接地した3次元の環境を生成する映像生成モデルCityRAGを提案する。 CityRAGは、時間的に不整合なトレーニングデータに依存している。 実験により、CityRAGは、連続した数分の映像シーケンスを生成し、何千ものフレーム上で天気や照明条件を維持し、ループの閉鎖を達成し、複雑な軌跡をナビゲートし、現実世界の地理を再構築できることを示した。
  論文  参考訳（メタデータ） (2026-04-21T17:59:03Z)
• Lyra 2.0: Explorable Generative 3D Worlds [77.45279013687427]
  Lyra 2.0は、永続的で探索可能な3D世界を大規模に生成するためのフレームワークです。 空間的忘れに対処するため、フレームごとの3D形状を維持し、情報ルーティングのみに使用します。 自己拡張された履歴をトレーニングして、モデルを自身の劣化した出力に公開し、それを伝播するのではなく、ドリフトを正すように教えます。
  論文  参考訳（メタデータ） (2026-04-14T17:59:44Z)
• RealMaster: Lifting Rendered Scenes into Photorealistic Video [55.04231137698114]
  最先端のビデオ生成モデルは驚くべきフォトリアリズムを生み出すが、生成したコンテンツをシーン要求に合わせるために必要な正確な制御は欠如している。 本稿では,3Dエンジンの出力と完全な整合性を維持しつつ,映像拡散モデルを用いてレンダリング映像をフォトリアリスティックビデオに引き上げる手法であるRealMasterを提案する。 RealMasterは既存のビデオ編集のベースラインを大幅に上回り、ジオメトリ、ダイナミックス、アイデンティティを元の3Dコントロールで指定しながら、フォトリアリズムを改善している。
  論文  参考訳（メタデータ） (2026-03-24T17:32:42Z)
• HorizonForge: Driving Scene Editing with Any Trajectories and Any Vehicles [63.88996084630768]
  制御可能な運転シーン生成は、現実的でスケーラブルな自律運転シミュレーションに不可欠である。 シーンを編集可能なガウス版とメッシュとして再構築する統合フレームワークであるHorizonForgeを紹介した。 実験により、ガウス・メシュ表現は代替の3次元表現よりもかなり高い忠実性をもたらすことが示された。
  論文  参考訳（メタデータ） (2026-02-24T20:03:47Z)
• Coarse-to-Real: Generative Rendering for Populated Dynamic Scenes [22.450051108066216]
  本稿では,C2R(Coarse-to-Real)について述べる。 提案手法では, シーンレイアウト, カメラモーション, 人体軌跡を明瞭に制御するために, 粗い3次元レンダリングを用いる。 最小限の3D入力から、時間的に一貫性があり、コントロール可能で、リアルな都市シーンビデオを生成する。
  論文  参考訳（メタデータ） (2026-01-29T20:29:04Z)
• Mirage: One-Step Video Diffusion for Photorealistic and Coherent Asset Editing in Driving Scenes [11.72942978943414]
  ビジョン中心の自動運転システムは、堅牢なパフォーマンスを達成するために、多種多様なスケーラブルなトレーニングデータに依存している。 ビデオオブジェクトの編集は、データ拡張に有望なパスを提供する。 既存の手法は、しばしば高視力と時間的コヒーレンスの両方を維持するのに苦労する。 Mirageは、フレーム間の時間的一貫性を保証するために、テキストとビデオの拡散の上に構築される。
  論文  参考訳（メタデータ） (2025-12-30T13:40:23Z)
• SceneCrafter: Controllable Multi-View Driving Scene Editing [44.91248700043744]
  SceneCrafterは、複数のカメラから撮影した運転シーンをリアルな3D一貫性で操作するための汎用的なエディタである。 SceneCrafterは、既存のベースラインと比較して最先端のリアリズム、制御性、3D一貫性、シーン編集品質を実現している。
  論文  参考訳（メタデータ） (2025-06-24T10:23:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。