論文の概要: Retrieve-to-Localize: Bridging Large Language Models and LiDAR Geometry for Spatial Grounding

• arxiv url: http://arxiv.org/abs/2609.29835v1
• Date: Thu, 24 Sep 2026 14:05:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.973033
• Title: Retrieve-to-Localize: Bridging Large Language Models and LiDAR Geometry for Spatial Grounding
• Title（参考訳）: 検索からローカライズ:大規模言語モデルと空間接地のためのLiDAR形状
• Abstract要約: 大規模言語モデルを用いて複雑な空間的質問を解釈し、参照対象をLiDAR幾何でグラウンド化する。 本研究では,SpatialLiDAR-QAを提案する。 また、LLMとLiDAR点特徴を一致させ、言語条件付き位置認識型提案検索と局所点修正により目標座標を接地するSpatialLiDAR-LMを提案する。
• 参考スコア（独自算出の注目度）: 1.3832821078847202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LiDAR provides precise geometric information for spatial perception tasks such as object detection in autonomous driving and outdoor robotics. However, recognizing and localizing individual objects is not sufficient to answer questions that require composing spatial relations and grounding the intended target. Motivated by recent advances in large language models (LLMs) for autonomous driving, we leverage their language priors to interpret complex spatial questions and ground the referred target in LiDAR geometry. To support this spatial grounding capability, we introduce SpatialLiDAR-QA, which combines single- and multi-step relational grounding with complementary spatial understanding tasks. We further propose SpatialLiDAR-LM, which aligns LiDAR point features with an LLM and grounds target coordinates through language-conditioned, position-aware proposal retrieval and local point refinement. This design derives target coordinates directly from local LiDAR geometry rather than through textual language decoding. Experiments demonstrate substantial improvements over representative LiDAR--language models and multi-camera VLMs on precise coordinate prediction tasks. Our dataset and model training code will be publicly released.
• Abstract（参考訳）: LiDARは、自律運転や屋外ロボット工学における物体検出などの空間知覚タスクに対して正確な幾何学的情報を提供する。 しかし,個々の物体の認識と位置決定は,空間的関係の構築や対象の接地を必要とする疑問に答えるには不十分である。 自律運転のための大規模言語モデル (LLM) の最近の進歩に触発されて, 複雑な空間的疑問を解釈し, 参照対象をLiDAR幾何学でグラウンド化する。 この空間的接地機能をサポートするために,単段および多段の相対的接地と相補的な空間的理解タスクを組み合わせたSpatialLiDAR-QAを導入する。 さらに、LLMとLiDAR点特徴を一致させ、言語条件付き位置認識型提案検索と局所点修正により目標座標を接地するSpatialLiDAR-LMを提案する。 この設計は、テキスト言語の復号化ではなく、局所的なLiDAR幾何から直接ターゲット座標を導出する。 精度の高い座標予測タスクにおいて,LiDAR言語モデルやマルチカメラVLMよりも大幅に改善された。 データセットとモデルのトレーニングコードを公開します。

関連論文リスト

• SpatialPoint: Spatial-aware Point Prediction for Embodied Localization [6.970630364284529]
  身体的な知性は、3D空間でどこで行動すべきかを決定する能力を必要とする。 具体的位置決めを2つの相補的ターゲットタイプでインスタンス化する。 本研究では,構造化深度を視覚言語モデルに統合した,注意深く設計した視覚言語フレームワークであるSpatialPointを提案する。
  論文  参考訳（メタデータ） (2026-03-16T07:03:48Z)
• From Indoor to Open World: Revealing the Spatial Reasoning Gap in MLLMs [65.04549036809557]
  我々は、ステレオカメラ、LiDAR、IMU/GPSセンサーで撮影された歩行者の視線映像から構築したベンチマークを紹介する。 このデータセットは、計量的に正確な3D情報を提供し、空間的推論質問の自動生成を可能にする。 評価の結果、構造化屋内ベンチマークで観測された性能向上は、オープンワールド環境では消滅することが明らかとなった。
  論文  参考訳（メタデータ） (2025-12-22T18:58:12Z)
• Words into World: A Task-Adaptive Agent for Language-Guided Spatial Retrieval in AR [8.295391485284298]
  マルチモーダル大規模言語モデル(MLLM)と接地型視覚モデルを統合するモジュール型拡張現実(AR)エージェントシステムを提案する。 適応タスクエージェントはMLLMと座標認識ツールを協調して,クエリの複雑さに対処する。 このシステムは、人間のループ内改良を支援しながら、情報密度領域に人間の注意を誘導する。
  論文  参考訳（メタデータ） (2025-11-29T03:29:15Z)
• FloorplanQA: A Benchmark for Spatial Reasoning in LLMs using Structured Representations [78.65988445433844]
  FloorplanQAは、大規模言語モデルにおける空間的推論を評価するための診断ベンチマークである。 このベンチマークでは、距離測定、可視性、経路探索、制約空間内のオブジェクト配置など、中核的な空間的タスクをカバーしている。
  論文  参考訳（メタデータ） (2025-07-10T11:16:48Z)
• A Neural Representation Framework with LLM-Driven Spatial Reasoning for Open-Vocabulary 3D Visual Grounding [78.99798110890157]
  Open-vocabulary 3D visual groundingは、自由形式の言語クエリに基づいてターゲットオブジェクトをローカライズすることを目的としている。 既存の言語フィールド手法は、言語クエリにおける空間的関係を利用してインスタンスを正確にローカライズするのに苦労する。 本研究では,大規模言語モデル(LLM)に基づく空間推論を用いたニューラル表現に基づく新しいフレームワークであるSpatialReasonerを提案する。
  論文  参考訳（メタデータ） (2025-07-09T10:20:38Z)
• OmniGeo: Towards a Multimodal Large Language Models for Geospatial Artificial Intelligence [51.0456395687016]
  マルチモーダル大言語モデル(LLM)が人工知能の新しいフロンティアをオープンした。 地理空間応用に適したMLLM(OmniGeo)を提案する。 自然言語理解の長所と空間的推論の長所を組み合わせることで,GeoAIシステムの指示追従能力と精度を高めることができる。
  論文  参考訳（メタデータ） (2025-03-20T16:45:48Z)
• A systematic review of geospatial location embedding approaches in large language models: A path to spatial AI systems [0.0]
  地理空間的位置埋め込み(GLE)は、大規模言語モデル(LLM)が空間データを同化して解析するのに役立つ。 GLEは、空間的知識をモデルアーキテクチャに組み込む空間的基礎/言語モデル(SLM)の必要性を示唆している。
  論文  参考訳（メタデータ） (2024-01-12T12:43:33Z)
• Language-Guided 3D Object Detection in Point Cloud for Autonomous Driving [91.91552963872596]
  我々は,LiDARグラウンディングと呼ばれるマルチモーダルな視覚的グラウンドニングタスクを提案する。 言語特徴を持つLiDARベースの物体検出器を共同で学習し、検出器から直接対象領域を予測する。 私たちの研究は、LiDARベースの接地作業に関する深い洞察を提供しており、自動運転コミュニティにとって有望な方向性を示すものと期待しています。
  論文  参考訳（メタデータ） (2023-05-25T06:22:10Z)
• SIRI: Spatial Relation Induced Network For Spatial Description Resolution [64.38872296406211]
  言語誘導型ローカライゼーションのための新しい関係誘導型ネットワーク(SIRI)を提案する。 提案手法は,80ピクセルの半径で測定した精度で,最先端手法よりも約24%優れていた。 提案手法は,Touchdownと同じ設定で収集した拡張データセットをうまく一般化する。
  論文  参考訳（メタデータ） (2020-10-27T14:04:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。