論文の概要: GaussianDWM++: Language-Grounded 3D Gaussian Driving World Model for Unified Scene Understanding, Editing, and Multi-Modal Generation

• arxiv url: http://arxiv.org/abs/2608.16234v1
• Date: Mon, 17 Aug 2026 08:12:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.586485
• Title: GaussianDWM++: Language-Grounded 3D Gaussian Driving World Model for Unified Scene Understanding, Editing, and Multi-Modal Generation
• Title（参考訳）: GaussianDWM++: 統一されたシーン理解、編集、マルチモーダル生成のための3次元ガウス駆動世界モデル
• Abstract要約: 本研究では,シーン理解,言語基底推論,制御可能な4D編集,マルチモーダル生成を統一した基礎機能を持つガウス駆動世界モデルを提案する。 本手法は,シーン理解,視覚的接地,計画指向推論,制御可能な4D生成タスクにまたがって,最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 41.933576884405305
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Driving World Models (DWMs) have recently advanced rapidly with generative models, yet most existing methods mainly focus on conditional scene generation and lack explicit 3D scene understanding, language-grounded reasoning, and controllable 4D editing capabilities. Moreover, commonly used point cloud, occupancy, or BEV representations make it difficult to achieve fine-grained alignment between textual information and the underlying 3D scene structure. To address these limitations, we propose a foundation-feature Gaussian driving world model that unifies scene understanding, language-grounded reasoning, controllable 4D editing, and multi-modal generation within a single framework. Specifically, we introduce a foundation-feature Gaussian tokenizer that directly distills Qwen/SigLIP visual-language features into 3D Gaussian primitives, building a compact open-vocabulary Gaussian semantic field. We further design a geometry-aware Gaussian adapter that combines importance-aware hierarchical selection with text-conditioned Perceiver-style cross-attention to aggregate dense Gaussian primitives into compact world tokens. To improve representation compatibility, we introduce a KL-based Gaussian--image distribution alignment objective that aligns Gaussian world tokens with foundation image tokens. Based on the aligned Gaussian representation, our framework further supports instruction-controllable scene editing, including weather-conditioned generation and dynamic vehicle manipulation. Extensive experiments on broader driving benchmarks demonstrate that our method achieves state-of-the-art performance across scene understanding, visual grounding, planning-oriented reasoning, and controllable 4D generation tasks. We will release the code and datasets publicly on Github.
• Abstract（参考訳）: ドライビング・ワールド・モデル(DWM)は最近、生成モデルによって急速に進歩しているが、既存のほとんどの手法は条件付きシーン生成に重点を置いており、明示的な3Dシーン理解、言語基底推論、制御可能な4D編集機能がない。 さらに、一般的に使われている点雲、占有率、またはBEV表現は、テキスト情報と基礎となる3Dシーン構造との間の微妙なアライメントを実現するのを困難にしている。 これらの制約に対処するために,シーン理解,言語基底推論,制御可能な4D編集,マルチモーダル生成をひとつのフレームワーク内で統合する基礎機能を持つガウス駆動世界モデルを提案する。 具体的には,Qwen/SigLIP視覚言語機能を直接3次元ガウスプリミティブに蒸留する基礎機能を持つガウストークンを導入し,コンパクトなオープン語彙ガウスセマンティックフィールドを構築する。 さらに、重み付きガウス的プリミティブをコンパクト世界トークンに集約するために、重み付き階層選択とテキスト条件付きPerceiverスタイルのクロスアテンションを組み合わせた幾何学的ガウス的アダプタを設計する。 表現の整合性を改善するため,KLベースのガウス分布アライメント目標を導入し,ガウス世界トークンと基礎画像トークンの整合性を示す。 配向したガウス表現に基づいて、気象条件付き生成や動的車両操作を含む命令制御可能なシーン編集をさらにサポートする。 より広範な運転ベンチマーク実験により,シーン理解,視覚的接地,計画指向推論,制御可能な4D生成タスクにまたがって,最先端の性能を実現することが実証された。 コードとデータセットはGithubで公開します。

関連論文リスト

• DGSG-Mind: Dynamic 3D Gaussian Scene Graphs for Long-Term Scene Understanding and Grounding [6.961193964556352]
  本稿では,DGSG-Mindについて述べる。DGSG-Mindは3次元ガウス動的シーングラフを具体化したハイブリッドなインスタンス認識型動的シーングラフシステムである。 DGSG-Mindは自己再構成マップ上で動作させる手法の中で最高のゼロショット3DVG性能が得られることを示す。 また、現実のロボットにDGSG-Mindを配置し、ターゲット指向の推論と動的更新機能を示す。
  論文  参考訳（メタデータ） (2026-05-28T13:04:17Z)
• Generation Models Know Space: Unleashing Implicit 3D Priors for Scene Understanding [50.098085774845195]
  本稿では,大規模生成モデルにおいて暗黙の空間的先行性を活用することで,パラダイムシフトを提案する。 GeneEGA-3D (Video Extracted Generative Awareness) は,事前学習した映像拡散モデルを潜在世界シミュレータとして再利用するプラグイン・アンド・プレイ・フレームワークである。
  論文  参考訳（メタデータ） (2026-03-19T17:59:58Z)
• GaussianDWM: 3D Gaussian Driving World Model for Unified Scene Understanding and Multi-Modal Generation [27.566010743301675]
  本稿では,3次元ガウスシーン表現に基づく新しい統合運転世界モデルフレームワークを提案する。 提案手法は,各ガウス語原始語にリッチ言語的特徴を埋め込むことにより,テキスト情報を3Dシーンと直接整合させる。 さらに,冗長な3Dガウスを除去し,高精度でコンパクトな3DトークンをLSMに注入するタスク対応言語誘導サンプリング戦略を設計する。
  論文  参考訳（メタデータ） (2025-12-29T03:40:05Z)
• GaussianVLM: Scene-centric 3D Vision-Language Models using Language-aligned Gaussian Splats for Embodied Reasoning and Beyond [56.677984098204696]
  マルチモーダル言語モデルは、VLM(3D Vision-Language Models)の開発を推進している 本稿では,言語とタスク認識のシーン表現を用いた3次元ガウシアンスプラットシーンのためのシーン中心の3次元VLMを提案する。 本稿では,標準RGB画像から導出した光リアルな3D表現を利用した最初のガウススプラッティングに基づくVLMを提案する。
  論文  参考訳（メタデータ） (2025-07-01T15:52:59Z)
• Occam's LGS: An Efficient Approach for Language Gaussian Splatting [57.00354758206751]
  言語3Dガウススプラッティングのための複雑なパイプラインは、単純に不要であることを示す。 我々は,オッカムのカミソリを手作業に適用し,高効率な重み付き多視点特徴集約技術を実現する。
  論文  参考訳（メタデータ） (2024-12-02T18:50:37Z)
• NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
  NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。 我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
  論文  参考訳（メタデータ） (2024-11-25T07:57:17Z)
• TIGER: Text-Instructed 3D Gaussian Retrieval and Coherent Editing [12.50147114409895]
  本稿では,テキストによる3Dガウス検索と編集のための体系的アプローチ,すなわちTIGERを提案する。 本稿では,2次元画像編集拡散モデルと多視点拡散モデルを集約したコヒーレントスコア蒸留(CSD)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T11:37:17Z)
• Gaussian Grouping: Segment and Edit Anything in 3D Scenes [65.49196142146292]
  ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。 暗黙のNeRF表現と比較すると,グループ化された3次元ガウシアンは,高画質,微粒度,高効率で,あらゆるものを3次元で再構成,分割,編集することができる。
  論文  参考訳（メタデータ） (2023-12-01T17:09:31Z)
• GAUDI: A Neural Architect for Immersive 3D Scene Generation [67.97817314857917]
  GAUDIは、動くカメラから没入的にレンダリングできる複雑な3Dシーンの分布をキャプチャできる生成モデルである。 GAUDIは,複数のデータセットにまたがる非条件生成環境において,最先端の性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-27T19:10:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。