論文の概要: Scalable Object Relation Encoding for Better 3D Spatial Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2603.24721v1
• Date: Wed, 25 Mar 2026 18:46:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:47.940883
• Title: Scalable Object Relation Encoding for Better 3D Spatial Reasoning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける3次元空間推論のためのスケーラブルなオブジェクト関係符号化
• Authors: Shengli Zhou, Minghang Zheng, Feng Zheng, Yang Liu,
• Abstract要約: 空間的推論は3次元シーンにおける空間的関係に基づく対象物の位置決めに焦点を当てる。 従来のアプローチでは、大規模言語モデルの入力空間に3Dシーン表現を注入しようと試みてきた。 オブジェクト数に線形な入力長を持つ新しい位置埋め込み法であるQuatRoPEを提案する。
• 参考スコア（独自算出の注目度）: 50.14156501544165
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spatial reasoning focuses on locating target objects based on spatial relations in 3D scenes, which plays a crucial role in developing intelligent embodied agents. Due to the limited availability of 3D scene-language paired data, it is challenging to train models with strong reasoning ability from scratch. Previous approaches have attempted to inject 3D scene representations into the input space of Large Language Models (LLMs) and leverage the pretrained comprehension and reasoning abilities for spatial reasoning. However, models encoding absolute positions struggle to extract spatial relations from prematurely fused features, while methods explicitly encoding all spatial relations (which is quadratic in the number of objects) as input tokens suffer from poor scalability. To address these limitations, we propose QuatRoPE, a novel positional embedding method with an input length that is linear to the number of objects, and explicitly calculates pairwise spatial relations through the dot product in attention layers. QuatRoPE's holistic vector encoding of 3D coordinates guarantees a high degree of spatial consistency, maintaining fidelity to the scene's geometric integrity. Additionally, we introduce the Isolated Gated RoPE Extension (IGRE), which effectively limits QuatRoPE's influence to object-related tokens, thereby minimizing interference with the LLM's existing positional embeddings and maintaining the LLM's original capabilities. Extensive experiments demonstrate the effectiveness of our approaches. The code and data are available at https://github.com/oceanflowlab/QuatRoPE.
• Abstract（参考訳）: 空間的推論は、3次元シーンにおける空間的関係に基づく対象物の位置決めに焦点を当てており、インテリジェントなエンボディエージェントの開発において重要な役割を担っている。 3Dシーン言語ペアデータの利用が限られているため、スクラッチから強力な推論能力を持つモデルをトレーニングすることは困難である。 従来のアプローチでは,Large Language Models (LLMs) の入力空間に3次元シーン表現を注入し,事前学習した理解能力と推論能力を利用して空間推論を行っている。 しかし、絶対位置を符号化するモデルは、未熟な特徴から空間関係を抽出するのに苦労する一方、入力トークンがスケーラビリティの低下に苦しむため、全ての空間関係(オブジェクト数では2次)を明示的に符号化する手法は困難である。 これらの制約に対処するために,オブジェクト数に線形な入力長を持つ新しい位置埋め込み法であるQuatRoPEを提案し,注目層におけるドット積による対角空間関係を明示的に計算する。 QuatRoPEの3次元座標の総体的ベクトル符号化は、空間的整合性を確保し、シーンの幾何学的整合性を維持する。 さらに、分離されたGated RoPE拡張(IGRE)を導入し、QuatRoPEのオブジェクト関連トークンへの影響を効果的に制限し、LLMの既存の位置埋め込みとの干渉を最小限に抑え、LLMの本来の機能を維持する。 大規模な実験は我々のアプローチの有効性を実証する。 コードとデータはhttps://github.com/oceanflowlab/QuatRoPEで公開されている。

関連論文リスト

• Point Cloud as a Foreign Language for Multi-modal Large Language Model [22.63554774942836]
  SAGEは、トレーニング済みの3Dエンコーダに頼ることなく、生の点雲を直接処理する最初のエンドツーエンドの3D MLLMである。 提案手法では, 幾何サンプリングと近傍凝集とベクトル量子化を組み合わせた軽量な3次元トークン化器を導入し, 点雲を離散トークンに変換する。
  論文  参考訳（メタデータ） (2026-03-10T04:22:40Z)
• SoPE: Spherical Coordinate-Based Positional Embedding for Enhancing Spatial Perception of 3D LVLMs [21.891285551179365]
  Spherical Coordinate-based Positional Embedding (SoPE)を紹介する。 本手法は,3次元球面座標空間に点-クラウドトークンのインデックスをマッピングし,空間位置と方向角の統一モデリングを可能にする。 この定式化は、点クラウドデータの固有の幾何学的構造を保持し、空間的認識を高め、マルチモーダル学習のためのより一貫性があり表現力のある幾何学的表現をもたらす。
  論文  参考訳（メタデータ） (2026-02-26T07:42:15Z)
• Disc3D: Automatic Curation of High-Quality 3D Dialog Data via Discriminative Object Referring [10.067200639268695]
  3D Multi-modal Large Language Models (MLLM) は、大規模で高品質な3Dシーン対話データセットが不足しているため、2Dピアよりもまだ遅れている。 本稿では,生の3Dスキャンを,前回のコストのごく一部で,曖昧で高品質な対話データに変換する完全自動パイプラインを提案する。
  論文  参考訳（メタデータ） (2025-11-24T06:51:34Z)
• Video Spatial Reasoning with Object-Centric 3D Rollout [58.12446467377404]
  我々は,ロバストなビデオ空間推論を実現するために,OCR(Object-Centric 3D Rollout)を提案する。 OCRは、トレーニング中に選択した物体の3次元形状に構造的摂動を導入する。 OCRはモデルを補完し、全体にわたって論理的にソートする。
  論文  参考訳（メタデータ） (2025-11-17T09:53:41Z)
• Point Linguist Model: Segment Any Object via Bridged Large 3D-Language Model [51.02616473941499]
  大規模言語モデル(LLM)による3Dオブジェクトのセグメンテーションは、その広範囲なセマンティクス、タスクの柔軟性、強力な一般化により、広く普及しているパラダイムとなっている。 LLMは高レベルなセマンティックトークンを処理し、3次元の点雲は密度の高い幾何学的構造のみを伝達する。 本稿では,LLMと高密度3次元点雲の間の表現ギャップを橋渡しする一般フレームワークであるポイント言語モデル(PLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-09T15:01:28Z)
• SURPRISE3D: A Dataset for Spatial Understanding and Reasoning in Complex 3D Scenes [105.8644620467576]
  Stextscurprise3Dは複雑な3次元シーンにおける言語誘導空間推論のセグメンテーションを評価するために設計された新しいデータセットである。 Stextscurprise3Dは、ScanNet++ v2から900以上の詳細な屋内シーンにわたる200k以上の視覚言語ペアで構成されている。 データセットには、オブジェクト名なしで意図的に作成される89k以上の人間アノテーション付き空間クエリが含まれている。
  論文  参考訳（メタデータ） (2025-07-10T14:01:24Z)
• LLMI3D: MLLM-based 3D Perception from a Single 2D Image [77.13869413871028]
  マルチモーダルな大言語モデル(MLLM)は、一般的な能力では優れているが、3Dタスクでは性能が劣る。 本稿では,3次元局所空間物体認識の弱さ,テキストに基づく幾何学的数値出力の低さ,カメラ焦点変動の処理能力の低下に対する解決策を提案する。 我々は,事前学習したMLLMに対してパラメータ効率の良い微調整を採用し,強力な3次元知覚MLLMであるLLMI3Dを開発した。
  論文  参考訳（メタデータ） (2024-08-14T10:00:16Z)
• Rel3D: A Minimally Contrastive Benchmark for Grounding Spatial Relations in 3D [71.11034329713058]
  既存のデータセットには、大規模で高品質な3D地上真実情報がない。 Rel3Dは、空間関係を3Dでグラウンド化するための、最初の大規模で人間による注釈付きデータセットである。 我々は、データセットバイアスを減らすための新しいクラウドソーシング手法である、最小限のコントラストデータ収集を提案する。
  論文  参考訳（メタデータ） (2020-12-03T01:51:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。