論文の概要: SAB3R: Semantic-Augmented Backbone in 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2506.02112v2
• Date: Wed, 04 Jun 2025 02:28:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 13:54:39.526899
• Title: SAB3R: Semantic-Augmented Backbone in 3D Reconstruction
• Title（参考訳）: SAB3R : 3次元再構成における意味増強バックボーン
• Authors: Xuweiyi Chen, Tian Xia, Sihan Xu, Jianing Yang, Joyce Chai, Zezhou Cheng,
• Abstract要約: オープン語彙セグメンテーションと3次元再構成の目的を統一する新しいタスクであるMap and Locateを導入する。 具体的には、MapとLocateは、未提示のビデオからポイントクラウドを生成し、オープン語彙クエリに基づいてオブジェクトインスタンスをセグメント化する。 このタスクは、現実世界のAIアプリケーションへの重要なステップとして機能し、再構築、認識、再編成を橋渡しする実践的なタスクを導入します。
• 参考スコア（独自算出の注目度）: 19.236494823612507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a new task, Map and Locate, which unifies the traditionally distinct objectives of open-vocabulary segmentation - detecting and segmenting object instances based on natural language queries - and 3D reconstruction, the process of estimating a scene's 3D structure from visual inputs. Specifically, Map and Locate involves generating a point cloud from an unposed video and segmenting object instances based on open-vocabulary queries. This task serves as a critical step toward real-world embodied AI applications and introduces a practical task that bridges reconstruction, recognition and reorganization. To tackle this task, we introduce a simple yet effective baseline, which we denote as SAB3R. Our approach builds upon MASt3R, a recent breakthrough in 3D computer vision, and incorporates a lightweight distillation strategy. This method transfers dense, per-pixel semantic features from 2D vision backbones (eg, CLIP and DINOv2) to enhance MASt3R's capabilities. Without introducing any auxiliary frozen networks, our model generates per-pixel semantic features and constructs cohesive point maps in a single forward pass. Compared to separately deploying MASt3R and CLIP, our unified model, SAB3R, achieves superior performance on the Map and Locate benchmark. Furthermore, we evaluate SAB3R on both 2D semantic segmentation and 3D tasks to comprehensively validate its effectiveness.
• Abstract（参考訳）: オープン語彙セグメンテーション(自然言語クエリに基づくオブジェクトインスタンスの検出とセグメンテーション)と,視覚的な入力からシーンの3D構造を推定する3D再構成という,従来とは異なる目的を統一した新しいタスクであるMap and Locateを導入する。 具体的には、MapとLocateは、未提示のビデオからポイントクラウドを生成し、オープン語彙クエリに基づいてオブジェクトインスタンスをセグメント化する。 このタスクは、現実世界のAIアプリケーションへの重要なステップとして機能し、再構築、認識、再編成を橋渡しする実践的なタスクを導入します。 この課題に対処するために,SAB3Rという単純なベースラインを導入する。 われわれのアプローチは、最近の3DコンピュータビジョンのブレークスルーであるMASt3Rの上に構築され、軽量蒸留戦略が組み込まれている。 この方法は、2Dビジョンバックボーン(例えばCLIPとDINOv2)から高密度でピクセル単位のセマンティックな特徴を伝達し、MASt3Rの能力を増強する。 予備的な凍結ネットワークを導入することなく、我々のモデルは画素ごとのセマンティックな特徴を生成し、単一の前方通過で凝集点マップを構築する。 MASt3RとCLIPを別々にデプロイするのに対し、当社の統一モデルSAB3RはMapとLocateベンチマークで優れたパフォーマンスを実現しています。 さらに,SAB3Rを2次元セマンティックセグメンテーションと3次元タスクの両方で評価し,その効果を総合的に検証した。

関連論文リスト

• AutoInst: Automatic Instance-Based Segmentation of LiDAR 3D Scans [41.17467024268349]
  3D環境を理解するには、きめ細かい風景を理解する必要がある。 教師なしの方法で3次元シーンのインスタンスセグメンテーションを予測することを提案する。 平均精度は13.3%,F1スコアは9.1%向上した。
  論文  参考訳（メタデータ） (2024-03-24T22:53:16Z)
• PointSeg: A Training-Free Paradigm for 3D Scene Segmentation via Foundation Models [51.24979014650188]
  我々は、市販の視覚基盤モデルを利用して、3Dシーン認識タスクに対処する学習自由パラダイムであるPointSegを提案する。 PointSegは正確な3Dプロンプトを取得してフレーム間で対応するピクセルを調整することで、任意の3Dシーンを分割することができる。 ScanNet、ScanNet++、KITTI-360データセット上の14.1$%、12.3$%、12.6$%のmAPは、最先端のトレーニングフリーモデルを大きく上回っている。
  論文  参考訳（メタデータ） (2024-03-11T03:28:20Z)
• ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic Reconstruction [62.599588577671796]
  本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。 オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
  論文  参考訳（メタデータ） (2023-11-29T20:30:18Z)
• AOP-Net: All-in-One Perception Network for Joint LiDAR-based 3D Object Detection and Panoptic Segmentation [9.513467995188634]
  AOP-NetはLiDARベースのマルチタスクフレームワークで、3Dオブジェクトの検出とパノプティクスのセグメンテーションを組み合わせたものである。 AOP-Netは、nuScenesベンチマークにおける3Dオブジェクト検出とパノプティクスセグメンテーションの両タスクについて、最先端のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2023-02-02T05:31:53Z)
• Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud Analysis [66.49788145564004]
  我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。 我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
  論文  参考訳（メタデータ） (2022-12-17T15:05:25Z)
• Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
  シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。 本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。 我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
  論文  参考訳（メタデータ） (2022-08-04T14:13:35Z)
• Improving Point Cloud Semantic Segmentation by Learning 3D Object Detection [102.62963605429508]
  ポイントクラウドセマンティックセグメンテーションは、自動運転において重要な役割を果たす。 現在の3Dセマンティックセグメンテーションネットワークは、よく表現されたクラスに対して優れた性能を発揮する畳み込みアーキテクチャに焦点を当てている。 Aware 3D Semantic Detection (DASS) フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-22T14:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。