論文の概要: GaussianFusion: Unified 3D Gaussian Representation for Multi-Modal Fusion Perception

• arxiv url: http://arxiv.org/abs/2607.00746v1
• Date: Wed, 01 Jul 2026 10:28:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.853088
• Title: GaussianFusion: Unified 3D Gaussian Representation for Multi-Modal Fusion Perception
• Title（参考訳）: GaussianFusion:マルチモーダルフュージョン知覚のための統一3次元ガウス表現
• Abstract要約: 本稿では,3次元ガウス表現に基づくマルチモーダル融合のための新しい普遍的枠組みを提案する。 このアプローチは自然に、共有かつ連続な3次元ガウス空間内のマルチモーダル特徴を統一する。 実験はガウスフュージョンの一般性とロバスト性を示す。
• 参考スコア（独自算出の注目度）: 13.265767966811312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The bird's-eye view (BEV) representation enables multi-sensor features to be fused within a unified space, serving as the primary approach for achieving comprehensive 3D perception. However, the discrete grid representation of BEV leads to significant detail loss and limits feature alignment and cross-modal information interaction in multimodal fusion perception. In this work, we break from the conventional BEV paradigm and propose a new universal framework for multi-modal fusion based on 3D Gaussian representation. This approach naturally unifies multi-modal features within a shared and continuous 3D Gaussian space, effectively preserving edge and fine texture details. To achieve this, we design a novel forward-projection-based multi-modal Gaussian initialization module and a shared cross-modal Gaussian encoder that iteratively updates Gaussian properties based on an attention mechanism. GaussianFusion is inherently a task-agnostic model, with its unified Gaussian representation naturally supporting various 3D perception tasks. Extensive experiments demonstrate the generality and robustness of GaussianFusion. On the nuScenes dataset, it outperforms the 3D object detection baseline BEVFusion by 2.6 NDS. Its variant surpasses GaussFormer on 3D semantic occupancy with 1.55 mIoU improvement while using only 30% of the Gaussians and achieving a 450% speedup.
• Abstract（参考訳）: 鳥眼ビュー(BEV)表現は、統合空間内でのマルチセンサー特徴の融合を可能にし、総合的な3D知覚を達成するための主要なアプローチとして機能する。 しかし、BEVの離散格子表現は、多モード融合知覚における特徴アライメントとクロスモーダル情報相互作用の顕著な損失と制限をもたらす。 本研究では,従来のBEVパラダイムから脱却し,三次元ガウス表現に基づくマルチモーダル融合のための新しい普遍的枠組みを提案する。 このアプローチは、共有かつ連続的な3次元ガウス空間内のマルチモーダル特徴を自然に統一し、エッジと細かいテクスチャの詳細を効果的に保存する。 これを実現するために,新しい前方投影型マルチモーダルガウス初期化モジュールと,アテンション機構に基づいてガウス特性を反復的に更新する共有モーダルガウスエンコーダを設計する。 GaussianFusionは本質的にタスクに依存しないモデルであり、その統一されたガウス表現は様々な3次元知覚タスクを自然にサポートしている。 広汎な実験はガウスフュージョンの一般性とロバスト性を示す。 nuScenesデータセットでは、3Dオブジェクト検出ベースラインのBEVFusionを2.6 NDSで上回る。 この変種はガウスフォルマーの3Dセマンティック占有率を1.55 mIoUで上回り、ガウス人の30%しか使用せず、450%のスピードアップを達成した。

関連論文リスト

• Gaussian-JEPA: Joint-Embedding Predictive Learning for 3D Gaussian Splats [91.55220894541151]
  3D Gaussian Splatting (3DGS)は、幾何学と外観を結合的にエンコードする異方性プリミティブを持つ3Dコンテンツを表す。 本稿では,ガウス的トークンブロックの表現を視覚的コンテキストから予測するガウス的JEPAを提案する。
  論文  参考訳（メタデータ） (2026-08-16T09:43:50Z)
• GaussFusion: Towards Multimodal 3D Gaussian Pretraining [22.9925711988588]
  GaussFusionは3Dガウス表現のためのマルチモーダル事前学習フレームワークである。 GaussFusionは、画像とテキストの監督をマスク付きガウスモデルに統合する。 GaussFusion は ModelNet40 で Gaussian-MAE を上回っ、ScanObjectNN (PB-T50-RS) は 0.61%、ScanObjectNN (PB-T50-RS) は 3.85% である。
  論文  参考訳（メタデータ） (2026-07-07T07:01:46Z)
• ShelfGaussian: Shelf-Supervised Open-Vocabulary Gaussian-based 3D Scene Understanding [7.610505486431266]
  オープンボキャブラリ型多モードガウス型3Dシーン理解フレームワークであるShelfGaussianについて紹介する。 既存の手法は、オブジェクトをアノテーション付き3Dラベルで教師される閉集合意味ガウスとしてモデル化し、そのレンダリング能力を無視したり、純粋に2Dの自己スーパービジョンを通じてオープンセットガウス表現を学習する。
  論文  参考訳（メタデータ） (2025-12-03T02:06:09Z)
• VG3T: Visual Geometry Grounded Gaussian Transformer [18.15986152198467]
  VG3Tは、新しい多視点フィードフォワードネットワークであり、3Dガウス表現を介して3Dセマンティック占有を予測している。 従来のnuScenesベンチマークよりもプリミティブが46%少ないのに対して、mIoUは1.7%向上した。
  論文  参考訳（メタデータ） (2025-11-28T07:27:20Z)
• iGaussian: Real-Time Camera Pose Estimation via Feed-Forward 3D Gaussian Splatting Inversion [62.09575122593993]
  iGaussianは2段階のフィードフォワードフレームワークで、直接3Dガウス変換によるリアルタイムカメラポーズ推定を実現する。 NeRF Synthetic, Mip-NeRF 360, T&T+DB データセットの実験結果から, 従来の手法に比べて大幅な性能向上が得られた。
  論文  参考訳（メタデータ） (2025-11-18T05:22:22Z)
• GaussianFusion: Gaussian-Based Multi-Sensor Fusion for End-to-End Autonomous Driving [10.79840172756777]
  本稿では,エンドツーエンド自動運転のためのガウス式マルチセンサフュージョンフレームワークを提案する。 本手法では,様々なセンサからの情報を集約するために,直観的かつコンパクトなガウス表現を中間キャリアとして利用する。 明示的な特徴は交通シーンに関する豊かな意味と空間情報を捉え、暗黙的な特徴は軌道計画のための補完的な手がかりを提供する。
  論文  参考訳（メタデータ） (2025-05-27T01:43:02Z)
• GaussianFormer3D: Multi-Modal Gaussian-based Semantic Occupancy Prediction with 3D Deformable Attention [15.890744831541452]
  3Dセマンティック占有予測は、安全で信頼性の高い自動運転を実現するために重要である。 本稿では,3次元変形可能な注意力を利用したマルチモーダルガウスに基づくセマンティック占有予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-15T20:05:08Z)
• GaussianFormer-2: Probabilistic Gaussian Superposition for Efficient 3D Occupancy Prediction [55.60972844777044]
  3Dセマンティック占有予測は、堅牢な視覚中心の自律運転において重要な課題である。 既存のほとんどの手法は、密度の高いグリッドベースのシーン表現を利用しており、運転シーンの空間的空間性を見渡している。 本稿では,各ガウス分布をその周辺領域の確率分布として解釈する確率論的ガウス重ね合わせモデルを提案する。
  論文  参考訳（メタデータ） (2024-12-05T17:59:58Z)
• UniGS: Modeling Unitary 3D Gaussians for Novel View Synthesis from Sparse-view Images [20.089890859122168]
  我々は,新しい3次元ガウス再構成と新しいビュー合成モデルであるUniGSを紹介する。 UniGSは、任意の数のスパースビュー画像から3Dガウスの高忠実度表現を予測する。
  論文  参考訳（メタデータ） (2024-10-17T03:48:02Z)
• GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction [70.65250036489128]
  3Dのセマンティック占有予測は,周囲のシーンの3Dの微細な形状とセマンティックスを得ることを目的としている。 本稿では,3Dシーンを3Dセマンティック・ガウシアンで表現するオブジェクト中心表現を提案する。 GaussianFormerは17.8%から24.8%のメモリ消費しか持たない最先端のメソッドで同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-27T17:59:51Z)
• GaussianCube: A Structured and Explicit Radiance Representation for 3D Generative Modeling [55.05713977022407]
  構造的かつ完全明快な放射率表現を導入し、3次元生成モデリングを大幅に促進する。 我々はまず,新しい密度制約付きガウス適合アルゴリズムを用いてガウスキューブを導出する。 非条件およびクラス条件オブジェクト生成、デジタルアバター生成、テキスト・トゥ・3Dによる実験は、我々のモデル合成が最先端の生成結果を達成することを示す。
  論文  参考訳（メタデータ） (2024-03-28T17:59:50Z)
• GRM: Large Gaussian Reconstruction Model for Efficient 3D Reconstruction and Generation [85.15374487533643]
  約0.1秒でスパースビュー画像から3Dアセットを復元できる大規模再構成機であるGRMを紹介する。 GRMは、マルチビュー情報を効率的に組み込んだフィードフォワードトランスフォーマーベースのモデルである。 また,既存の多視点拡散モデルと統合することにより,テキスト・ツー・3Dや画像・ツー・3Dといった生成タスクにおけるGRMの可能性を示す。
  論文  参考訳（メタデータ） (2024-03-21T17:59:34Z)
• GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
  本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。 最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。 我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
  論文  参考訳（メタデータ） (2023-12-08T16:05:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。