論文の概要: Scene-Q: Confidence-Aware Coarse-to-Fine Querying of 3D Scenes with Selective VLM Reasoning
- arxiv url: http://arxiv.org/abs/2609.20235v1
- Date: Tue, 28 Jul 2026 09:58:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 14:48:16.093534
- Title: Scene-Q: Confidence-Aware Coarse-to-Fine Querying of 3D Scenes with Selective VLM Reasoning
- Title(参考訳): シーンQ: 選択的VLM推論を用いた3次元シーンの信頼度を考慮した粗検索
- Abstract要約: Scene-Qは粗いクエリフレームワークで、エンコーダのスコアを温度スケーリングで正規化し、低信頼の場合のみVLMを呼び出す。
高信頼度クエリは高速検索によって応答され、曖昧なクエリは小さなトップK候補セット上で再参照される。
ScanNet200のオープンな3Dインスタンスセグメンテーションと、現実世界の再構築における自然言語3Dインスタンス検索を改善したScene-Q。
- 参考スコア(独自算出の注目度): 24.37584731810519
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Indoor mobile robots require open-vocabulary scene understanding that grounds natural-language queries in a consistent 3D map. Many existing systems ultimately rely on cosine-similarity retrieval with contrastive image--text encoders, which is efficient but brittle when labels are near-synonymous or multiple similar instances appear. We present Scene-Q, a confidence-aware coarse-to-fine querying framework that normalizes encoder scores with temperature scaling and selectively invokes a reasoning VLM only for low-confidence cases. High-confidence queries are answered by fast retrieval, while ambiguous ones are reranked over a small top-K candidate set using the original multi-view images and instance bounding boxes, enabling context-aware disambiguation at low cost. Scene-Q improves open-vocabulary 3D instance segmentation on ScanNet200 and natural-language 3D instance retrieval on real-world reconstructions, with the largest gains on spatial and relational queries while keeping a substantial fraction of queries on the fast path.
- Abstract(参考訳): 屋内の移動ロボットは、自然言語クエリを一貫した3Dマップで理解するために、オープン語彙のシーンを必要とする。
既存のシステムの多くは、コーシン類似性検索とコントラスト画像-テキストエンコーダに依存しており、ラベルがほぼサイノニマスまたは複数の類似したインスタンスに現れると、効率は良いが不安定である。
Scene-Qは,エンコーダのスコアを温度スケーリングで正規化し,低信頼の場合のみ推論VLMを選択的に呼び出す,信頼性を意識した粗いクエリフレームワークである。
高信頼度クエリは高速検索によって応答されるが、曖昧なクエリは、元のマルチビューイメージとインスタンスバウンディングボックスを使用して、小さなトップK候補セット上でリランクされ、コンテキスト認識の曖昧さを低コストで実現する。
Scene-Qは、ScanNet200上のオープン語彙の3Dインスタンスセグメンテーションと、現実世界の再構築における自然言語の3Dインスタンス検索を改善し、高速パス上でのクエリのかなりの割合を維持しながら、空間的およびリレーショナルクエリの最大の増加を実現している。
関連論文リスト
- AQ3D: Adaptive Query Transformer for 3D Instance Segmentation [0.0]
3Dインスタンスセグメンテーションのためのトランスフォーマーベースのデコーダは通常、一定数のクエリと位置モデリングにコミットする。
トレーニングや推論において,様々なサイズのシーンを扱うように設計されたAQ3Dを提案する。
論文 参考訳(メタデータ) (2026-08-31T11:27:42Z) - OV3D-Bench: A Diagnostic Benchmark for Open-Vocabulary Monocular 3D Detection [82.26920986339502]
OV3D-Benchは、開語彙単分子3D検出器をデプロイリアルな条件下で比較する診断ベンチマークである。
7つの代表検出器を評価し, (i) 対象をよく局所化するが, しばしば意味的に隣接したカテゴリとして, 正しく局所化されたボックスを誤ラベルする。
我々は、SigLIPv2のような対照的な視覚言語エンコーダを用いて、凍結閉語彙検出器の予測を単に再マッピングするだけで、近年のオープン語彙法と競合することを示した。
論文 参考訳(メタデータ) (2026-08-17T20:38:57Z) - Pixel-Grounded Retrieval for Knowledgeable Large Multimodal Models [58.46663983451155]
PixSearchは、地域レベルの認識と検索強化推論を統合する、エンドツーエンドのLMM(Large Multimodal Model)である。
エンコーディング中、PixSearchは検索をトリガーする検索>トークンを出力し、クエリのモダリティ(テキスト、画像、リージョン)を選択し、ビジュアルクエリとして直接機能するピクセルレベルのマスクを生成する。
エゴセントリックでエンティティ中心のVQAベンチマークでは、PixSearchは事実整合性と一般化を大幅に改善する。
論文 参考訳(メタデータ) (2026-01-27T00:46:08Z) - Chat-Scene: Bridging 3D Scene and Large Language Models with Object Identifiers [65.51132104404051]
オブジェクトレベルのシーンと対話するために、オブジェクト識別子とオブジェクト中心表現を導入する。
我々のモデルは、ScanRefer、Multi3DRefer、Scan2Cap、ScanQA、SQA3Dなど、既存のベンチマーク手法よりも大幅に優れています。
論文 参考訳(メタデータ) (2023-12-13T14:27:45Z) - Spatial-Temporal Graph Enhanced DETR Towards Multi-Frame 3D Object Detection [54.041049052843604]
STEMDは,多フレーム3Dオブジェクト検出のためのDETRのようなパラダイムを改良した,新しいエンドツーエンドフレームワークである。
まず、オブジェクト間の空間的相互作用と複雑な時間的依存をモデル化するために、空間的時間的グラフアテンションネットワークを導入する。
最後に、ネットワークが正のクエリと、ベストマッチしない他の非常に類似したクエリを区別することが課題となる。
論文 参考訳(メタデータ) (2023-07-01T13:53:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。