論文の概要: OpenVoxel: Training-Free Grouping and Captioning Voxels for Open-Vocabulary 3D Scene Understanding
- arxiv url: http://arxiv.org/abs/2601.09575v1
- Date: Wed, 14 Jan 2026 15:45:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-15 18:59:20.455022
- Title: OpenVoxel: Training-Free Grouping and Captioning Voxels for Open-Vocabulary 3D Scene Understanding
- Title（参考訳）: OpenVoxel: Open-Vocabulary 3D Scene Understandingのためのトレーニング不要なグループ化とキャプションボクセル
- Authors: Sheng-Yu Huang, Jaesung Choe, Yu-Chiang Frank Wang, Cheng Sun,
- Abstract要約: オープンな3Dシーン理解タスクのためのグループ化と字幕化のための訓練不要なアルゴリズムであるOpenVoxelを提案する。
提案手法は,最近の研究,特に複合参照表現セグメンテーション(RES)タスクに比較して,優れた性能を示す。
- 参考スコア（独自算出の注目度）: 51.20680201565003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose OpenVoxel, a training-free algorithm for grouping and captioning sparse voxels for the open-vocabulary 3D scene understanding tasks. Given the sparse voxel rasterization (SVR) model obtained from multi-view images of a 3D scene, our OpenVoxel is able to produce meaningful groups that describe different objects in the scene. Also, by leveraging powerful Vision Language Models (VLMs) and Multi-modal Large Language Models (MLLMs), our OpenVoxel successfully build an informative scene map by captioning each group, enabling further 3D scene understanding tasks such as open-vocabulary segmentation (OVS) or referring expression segmentation (RES). Unlike previous methods, our method is training-free and does not introduce embeddings from a CLIP/BERT text encoder. Instead, we directly proceed with text-to-text search using MLLMs. Through extensive experiments, our method demonstrates superior performance compared to recent studies, particularly in complex referring expression segmentation (RES) tasks. The code will be open.
- Abstract（参考訳）: オープンな3Dシーン理解タスクに対して,スパースボクセルをグループ化し,キャプションする訓練自由アルゴリズムであるOpenVoxelを提案する。
3Dシーンのマルチビュー画像から得られるスパースボクセルラスタ化(SVR)モデルを考えると、OpenVoxelはシーン内の異なるオブジェクトを記述する有意義なグループを生成することができる。
また,強力な視覚言語モデル (VLM) とマルチモーダル大規模言語モデル (MLLM) を活用することで,各グループをキャプションすることで,オープン語彙セグメンテーション (OVS) や表現セグメンテーション (RES) などの3次元シーン理解タスクを実現することができる。
従来の方法とは異なり,本手法はトレーニング不要であり,CLIP/BERTテキストエンコーダからの埋め込みを導入しない。
代わりに、MLLMを使ってテキストからテキストまで直接検索する。
提案手法は,最近の研究,特に複雑な参照表現セグメンテーション(RES)タスクに比較して,優れた性能を示す。
コードはオープンされます。
関連論文リスト
- OpenSplat3D: Open-Vocabulary 3D Instance Segmentation using Gaussian Splatting [52.40697058096931]
3D Gaussian Splatting (3DGS)は神経シーン再構築の強力な表現として登場した。
我々は,OpenSplat3Dと呼ばれる手動ラベリングを必要としないオープン語彙3Dインスタンスセグメンテーションのアプローチを提案する。
LERF-mask と LERF-OVS と ScanNet++ の完全な検証セットについて,本手法の有効性を実証した。
論文 参考訳（メタデータ） (2025-06-09T12:37:15Z) - Search3D: Hierarchical Open-Vocabulary 3D Segmentation [78.47704793095669]
本稿では,階層的なオープンな3Dシーン表現を構築するためのアプローチであるSearch3Dを紹介する。
従来の方法とは異なり、Search3Dはより柔軟なオープンな3D検索パラダイムにシフトする。
体系的な評価のために,MultiScanに基づくシーンスケールのオープンボキャブラリ3D部分セグメンテーションベンチマークを提案する。
論文 参考訳（メタデータ） (2024-09-27T03:44:07Z) - UniM-OV3D: Uni-Modality Open-Vocabulary 3D Scene Understanding with Fine-Grained Feature Representation [46.998093729036334]
我々は,UniM-OV3Dという,マルチモーダルなオープン・ボキャブラリ・シーン理解ネットワークを提案する。
ポイントクラウドのグローバル機能とローカル機能をよりよく統合するために、階層的なポイントクラウド機能抽出モジュールを設計する。
キャプションからの粗い点列表現の学習を容易にするために,階層型3Dキャプションペアの利用を提案する。
論文 参考訳（メタデータ） (2024-01-21T04:13:58Z) - Panoptic Vision-Language Feature Fields [27.209602602110916]
オープンボキャブラリパノプティックセグメンテーションのための第1のアルゴリズムを3次元シーンで提案する。
本アルゴリズムは,事前学習した2次元モデルから視覚言語の特徴を抽出することにより,シーンの意味的特徴場を学習する。
提案手法は,HyperSim, ScanNet, Replicaデータセット上の最先端のクローズドセット3Dシステムと同様のパノプティカルセグメンテーション性能を実現する。
論文 参考訳（メタデータ） (2023-09-11T13:41:27Z) - PLA: Language-Driven Open-Vocabulary 3D Scene Understanding [57.47315482494805]
オープン語彙シーン理解は、アノテートされたラベル空間を超えて見えないカテゴリをローカライズし、認識することを目的としている。
最近の2次元オープン語彙認識のブレークスルーは、リッチな語彙概念を持つインターネットスケールのペア画像テキストデータによって駆動される。
本稿では,3次元からの多視点画像のキャプションにより,事前学習された視覚言語(VL)基盤モデルに符号化された知識を抽出することを提案する。
論文 参考訳（メタデータ） (2022-11-29T15:52:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。