論文の概要: TRACKGRAPH: Online Open-Vocabulary 3D Scene Graphs via Image-Space Tracking

• arxiv url: http://arxiv.org/abs/2609.31005v1
• Date: Fri, 25 Sep 2026 08:51:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.317767
• Title: TRACKGRAPH: Online Open-Vocabulary 3D Scene Graphs via Image-Space Tracking
• Title（参考訳）: TRACKGRAPH: 画像空間追跡によるオンラインオープン語彙3Dシーングラフ
• Abstract要約: GRAPHは、最先端のマッピング手法に対して、競合するオープン語彙のセグメンテーションと検索を実現する。 システムは、セグメントを3Dに融合する前に、画像ストリームに直接、短期的な2Dマスクのアイデンティティを保持する。 同じNVIDIA A100でも1.7倍高速で、VT-H OVI-MAPより3.3倍少ないGPUメモリを使用する。
• 参考スコア（独自算出の注目度）: 9.787825039063279
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-vocabulary 3D maps enable robots to reason about previously unknown environments using natural language. However, existing systems typically segment every incoming image, associate detections with persistent 3D segments, and frequently perform costly Vision-Language (VL) inference. We present TRACKGRAPH, an online open-vocabulary system that maintains short-term 2D mask identity directly in the image stream before fusing segments into 3D. FastSAM masks and CLIP features are computed at sparse keyframes, while dense DINOv3 features are used to propagate masks at a high rate in between. The resulting tracked masks are fused into a class-agnostic 3D segment layer within a hierarchical scene graph, with 3D association handling tracking interruptions and long-term revisits. Compact multi-view CLIP embeddings enable open-vocabulary retrieval. Across Replica, ScanNet++, and HM3D, TRACKGRAPH achieves competitive open-vocabulary segmentation and retrieval against state-of-the-art mapping methods, including the highest synonym frequency on Replica (0.50). On the same NVIDIA A100, it is 1.7x faster and uses 3.3x less GPU memory than ViT-H OVI-MAP. Real-world quadruped deployments demonstrate onboard scene graph construction and object search at 7.5Hz, while recorded drone data is used to test the method under aerial viewpoints.
• Abstract（参考訳）: オープンな語彙の3Dマップにより、ロボットは自然言語を使ってこれまで知らなかった環境を推論できる。 しかし、既存のシステムは、通常、すべての入ってくる画像を分割し、永続的な3Dセグメントと検出を関連付け、しばしばコストのかかるヴィジュアル・ランゲージ(VL)推論を実行する。 画像ストリームに直接2Dマスクのアイデンティティを保存し,セグメントを3Dに融合させるオンラインオープン語彙システムであるTRACKGRAPHを提案する。 高速SAMマスクとCLIP機能はスパースキーフレームで計算され、密度の高いDINOv3機能は高い速度でマスクを伝搬するために使用される。 結果として得られた追跡マスクは階層的なシーングラフ内のクラス非依存の3Dセグメント層に融合され、3Dアソシエーションが割り込みの追跡と長期の見直しを処理する。 コンパクトなマルチビューCLIP埋め込みはオープン語彙検索を可能にする。 Replica、ScanNet++、HM3DをまたいだTRACKGRAPHは、Replica (0.50) における最も高い同義周波数を含む最先端のマッピング手法に対して、競合するオープン語彙のセグメンテーションと検索を実現する。 同じNVIDIA A100でも1.7倍高速で、VT-H OVI-MAPより3.3倍少ないGPUメモリを使用する。 実世界の4つの配置は、現場グラフの構築と物体探索を7.5Hzで実証し、記録されたドローンデータは、この手法を空中視点でテストするために使用される。

関連論文リスト

• Proxy3D: Efficient 3D Representations for Vision-Language Models via Semantic Clustering and Alignment [50.02189698630855]
  本稿では,視覚モダリティのためのコンパクトかつ包括的な3Dプロキシ表現を備えたProxy3D法を提案する。 提案手法は,3次元視覚的質問応答,視覚的接地,空間知能のベンチマークにおいて,競合や最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-05-08T17:50:47Z)
• EmbodiedSplat: Online Feed-Forward Semantic 3DGS for Open-Vocabulary 3D Scene Understanding [66.80528512321106]
  EmbodiedSplatは、オープン語彙シーン理解のためのオンラインフィードフォワード3DGSである。 目的は,1)300以上のストリーミング画像からシーン全体のセマンティック埋め込み3DGSをオンライン的に再構成すること,2)フィードフォワードデザインの新規シーンに高度に一般化することである。
  論文  参考訳（メタデータ） (2026-03-04T16:40:41Z)
• OpenTrack3D: Towards Accurate and Generalizable Open-Vocabulary 3D Instance Segmentation [5.073373064582996]
  オープンな3Dインスタンスセグメンテーションのための汎用的で正確なフレームワークであるOpenTrack3Dを紹介する。 事前に生成された提案に依存するメソッドとは異なり、OpenTrack3Dは、クロスビュー一貫性のあるオブジェクト提案を構築するために、新しいビジュアル空間トラッカーを使用している。 パイプラインは完全にメッシュフリーですが、シーンメッシュが利用可能になった時にパフォーマンスをさらに向上する、オプションのスーパーポイントリファインメントモジュールも提供しています。
  論文  参考訳（メタデータ） (2025-12-03T07:51:03Z)
• CORE-3D: Context-aware Open-vocabulary Retrieval by Embeddings in 3D [0.0]
  3Dシーンの理解は、AIとロボティクスの具体化の基礎であり、インタラクションとナビゲーションの信頼性をサポートする。 近年のアプローチでは、視覚言語モデル(VLM)により生成された2次元クラス非依存マスクに埋め込みベクトルを割り当てることで、ゼロショットでオープンな3Dセマンティックマッピングを実現している。 プログレッシブな粒度改善を施したセマンティックSAMを用いて、より正確で多数のオブジェクトレベルのマスクを生成する。
  論文  参考訳（メタデータ） (2025-09-29T09:43:00Z)
• OpenM3D: Open Vocabulary Multi-view Indoor 3D Object Detection without Human Annotations [21.24895455233531]
  オープンな多視点屋内3Dオブジェクト検出器OpenM3Dを導入する。 OpenM3Dは、ImGeoNetモデルからの2D誘起のボクセル特性に適応した単段検出器である。 推論では、高効率な検出器であるOpenM3Dは入力にマルチビュー画像しか必要とせず、精度と速度が優れている。
  論文  参考訳（メタデータ） (2025-08-27T17:17:00Z)
• SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and Quasi-Planar Segmentation [53.83313235792596]
  本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。 2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。 本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
  論文  参考訳（メタデータ） (2023-06-28T22:36:44Z)
• Neural Implicit Dense Semantic SLAM [83.04331351572277]
  本稿では,屋内シーンのメモリ効率,高密度な3次元形状,セマンティックセマンティックセグメンテーションをオンラインで学習する新しいRGBD vSLAMアルゴリズムを提案する。 私たちのパイプラインは、従来の3Dビジョンベースのトラッキングとループクローズとニューラルフィールドベースのマッピングを組み合わせたものです。 提案アルゴリズムはシーン認識を大幅に向上させ,様々なロボット制御問題を支援する。
  論文  参考訳（メタデータ） (2023-04-27T23:03:52Z)
• Learning Spatio-Appearance Memory Network for High-Performance Visual Tracking [79.80401607146987]
  既存のオブジェクトトラッキングは通常、フレーム間の視覚的ターゲットにマッチするバウンディングボックスベースのテンプレートを学習する。 本稿では,局所時間メモリネットワークを備え,正確な時空間対応を学習するセグメンテーションに基づくトラッキングアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-09-21T08:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。