論文の概要: OnlinePG: Online Open-Vocabulary Panoptic Mapping with 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2603.18510v1
• Date: Thu, 19 Mar 2026 05:37:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:05.973265
• Title: OnlinePG: Online Open-Vocabulary Panoptic Mapping with 3D Gaussian Splatting
• Title（参考訳）: OnlinePG:3Dガウススプラッティングによるオンラインオープン語彙パノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパ
• Authors: Hongjia Zhai, Qi Zhang, Xiaokun Pan, Xiyu Zhang, Yitong Dong, Huaqi Zhang, Dan Xu, Guofeng Zhang,
• Abstract要約: 幾何学的再構成と開語彙認識を統合した新しいシステムである OnlinePG を提案する。 提案手法は,リアルタイムの効率を維持しつつ,オンライン手法間の性能向上を実現する。
• 参考スコア（独自算出の注目度）: 21.764345239108426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-vocabulary scene understanding with online panoptic mapping is essential for embodied applications to perceive and interact with environments. However, existing methods are predominantly offline or lack instance-level understanding, limiting their applicability to real-world robotic tasks. In this paper, we propose OnlinePG, a novel and effective system that integrates geometric reconstruction and open-vocabulary perception using 3D Gaussian Splatting in an online setting. Technically, to achieve online panoptic mapping, we employ an efficient local-to-global paradigm with a sliding window. To build local consistency map, we construct a 3D segment clustering graph that jointly leverages geometric and semantic cues, fusing inconsistent segments within sliding window into complete instances. Subsequently, to update the global map, we construct explicit grids with spatial attributes for the local 3D Gaussian map and fuse them into the global map via robust bidirectional bipartite 3D Gaussian instance matching. Finally, we utilize the fused VLM features inside the 3D spatial attribute grids to achieve open-vocabulary scene understanding. Extensive experiments on widely used datasets demonstrate that our method achieves better performance among online approaches, while maintaining real-time efficiency.
• Abstract（参考訳）: オンライン・パノプティカル・マッピングを用いたオープン・ボキャブラリ・シーンの理解は、環境を知覚し、相互作用するための具体的アプリケーションにとって不可欠である。 しかし、既存の手法は主にオフラインかインスタンスレベルの理解が欠如しており、実際のロボットタスクに適用性を制限する。 本稿では,3次元ガウススプラッティングによる幾何学的再構成と開語彙認識を統合したオンラインシステムである OnlinePG を提案する。 技術的には、オンライン・パノプティカル・マッピングを実現するために、スライディング・ウインドウを備えた効率的なローカル・グローバル・パラダイムを採用する。 局所整合性マップを構築するために,幾何学的および意味論的手がかりを併用した3次元セグメントクラスタリンググラフを構築し,スライディングウィンドウ内の不整合セグメントを完全なインスタンスに融合する。 その後、グローバルマップを更新するために、局所的な3次元ガウス写像の空間属性を持つ明示的なグリッドを構築し、ロバストな双方向の2次元ガウスのインスタンスマッチングによってグローバルマップに融合する。 最後に,3次元空間属性グリッド内の融合VLM機能を用いて,オープン語彙シーン理解を実現する。 広範に使用されているデータセットに対する大規模な実験により,リアルタイムの効率を維持しながら,オンライン手法による性能向上が実証された。

関連論文リスト

• EmbodiedSplat: Online Feed-Forward Semantic 3DGS for Open-Vocabulary 3D Scene Understanding [66.80528512321106]
  EmbodiedSplatは、オープン語彙シーン理解のためのオンラインフィードフォワード3DGSである。 目的は,1)300以上のストリーミング画像からシーン全体のセマンティック埋め込み3DGSをオンライン的に再構成すること,2)フィードフォワードデザインの新規シーンに高度に一般化することである。
  論文  参考訳（メタデータ） (2026-03-04T16:40:41Z)
• EA3D: Online Open-World 3D Object Extraction from Streaming Videos [55.48835711373918]
  オープンワールド3Dオブジェクト抽出のための統合オンラインフレームワークであるExtractAnything3D(EA3D)を提案する。 ストリーミングビデオが与えられると、EA3Dは視覚言語と2D視覚基盤エンコーダを使用して各フレームを動的に解釈し、オブジェクトレベルの知識を抽出する。 リカレントな共同最適化モジュールは、モデルの関心領域への注意を向け、幾何学的再構成と意味的理解の両面を同時に強化する。
  論文  参考訳（メタデータ） (2025-10-29T03:56:41Z)
• OV-MAP : Open-Vocabulary Zero-Shot 3D Instance Segmentation Map for Robots [18.200635521222267]
  OV-MAPは、オブジェクト認識機能を高めるために、オープンな特徴を3Dマップに統合することで、移動ロボットのためのオープンワールド3Dマッピングの新しいアプローチである。 我々は2次元マスクを3次元空間に投影するクラス非依存セグメンテーションモデルと、点雲から生の深度と合成の深度をマージして作成した補足深度画像を組み合わせた。 このアプローチは、3Dマスク投票機構とともに、3D教師付きセグメンテーションモデルに頼ることなく、正確なゼロショット3Dインスタンスセグメンテーションを可能にする。
  論文  参考訳（メタデータ） (2025-06-13T08:49:23Z)
• PanoSLAM: Panoptic 3D Scene Reconstruction via Gaussian SLAM [105.01907579424362]
  PanoSLAMは、幾何学的再構成、3Dセマンティックセマンティックセマンティクス、3Dインスタンスセマンティクスを統合フレームワークに統合する最初のSLAMシステムである。 初めて、RGB-Dビデオから直接、オープンワールド環境のパノプティカル3D再構成を実現する。
  論文  参考訳（メタデータ） (2024-12-31T08:58:10Z)
• ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic Reconstruction [62.599588577671796]
  本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。 オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
  論文  参考訳（メタデータ） (2023-11-29T20:30:18Z)
• Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud Analysis [66.49788145564004]
  我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。 我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
  論文  参考訳（メタデータ） (2022-12-17T15:05:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。