論文の概要: GeoLift: Grounding Video Spatial Reasoning in Explicit 3D Maps

• arxiv url: http://arxiv.org/abs/2610.33558v1
• Date: Sat, 24 Oct 2026 09:17:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.360315
• Title: GeoLift: Grounding Video Spatial Reasoning in Explicit 3D Maps
• Title（参考訳）: GeoLift: 露骨な3Dマップの空間推論
• Abstract要約: ビデオ空間推論では、オブジェクトの配置や視点間の関連を理解するために、MLLM(Multimodal Large Language Model)が必要である。 GeoLiftは、フィードフォワード3D再構成を利用して、個々のフレームで検出されたオブジェクトを共有メトリック3Dシーンにマッピングする、トレーニング不要のフレームワークである。
• 参考スコア（独自算出の注目度）: 22.227188703112947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video spatial reasoning requires multimodal large language models (MLLMs) to understand how objects are arranged and related across viewpoints. While these models can recognize objects in individual frames, integrating these observations to solve complex spatial tasks remains challenging. We examine route planning as a representative task and observe that existing models become substantially less accurate as the number of required turns increases, with several models achieving accuracy close to random guessing on routes requiring three or more turns. This finding suggests that recognizing landmarks alone is insufficient: models must also connect observations across viewpoints and track how landmarks are arranged in a shared space. Motivated by this observation, we introduce GeoLift, a training-free framework that uses feed-forward 3D reconstruction to map objects detected in individual frames into a shared metric 3D scene. GeoLift combines a frozen MLLM for 2D grounding with pretrained geometry models for scene reconstruction. It then uses shared geometric regions, called superpoints, to associate observations of the same object across views without a learned matcher. The reconstructed 3D map enables explicit computation of spatial relations and multistep routes, and provides geometric evidence for estimating distances and sizes. With all model weights frozen, GeoLift improves Qwen3-VL-4B's average score on VSI-Bench from 55.4% to 64.1%, including an increase in route-planning accuracy from 30.9% to 53.6%, and achieves 59.8% accuracy on MindCube. These results show that connecting frame-level object grounding through a shared 3D map can improve complex spatial reasoning without task-specific training.
• Abstract（参考訳）: ビデオ空間推論では、オブジェクトの配置や視点間の関連を理解するために、MLLM(Multimodal Large Language Model)が必要である。 これらのモデルは個々のフレーム内のオブジェクトを認識することができるが、複雑な空間的タスクを解決するためにこれらの観測を統合することは依然として困難である。 我々は,経路計画を代表課題として検討し,必要回転数が増加するにつれて既存のモデルが著しく精度が低下することが確認された。 この発見は、ランドマークのみを認識することは不十分であることを示している。モデルはまた、視点を越えて観察を結び、共有空間にランドマークがどのように配置されているかを追跡する必要がある。 この観察に触発されたGeoLiftは、フィードフォワード3D再構成を用いて検出されたオブジェクトを共有メトリック3Dシーンにマッピングする、トレーニング不要のフレームワークである。 GeoLiftは2Dグラウンドのための凍結MLLMとシーン再構築のための事前訓練された幾何学モデルを組み合わせる。 次に、共有幾何学的領域(スーパーポイントと呼ばれる)を使用して、学習されたマーカなしで同じ物体の観察をビュー間で関連付ける。 再構成された3Dマップは空間関係と多段階経路の明示的な計算を可能にし、距離と大きさを推定するための幾何学的証拠を提供する。 全モデルの重量が凍結されたことにより、GeoLiftはQwen3-VL-4BのVSI-Benchの平均スコアを55.4%から64.1%に改善し、ルート計画の精度は30.9%から53.6%に向上し、MindCubeでは59.8%の精度を達成した。 これらの結果から,共有3次元マップによるフレームレベルのグラウンドグラウンドの接続は,タスク固有の訓練を使わずに複雑な空間的推論を改善することが示唆された。

関連論文リスト

• Foundation4D: Towards a unified perception and reconstruction model for autonomous vehicles [50.869471010323956]
  Foundation4Dは、幾何学的推定3次元検出、意味的占有、ビデオからのガウス的再構成のための統合フィードフォワードモデルである。 幾何学的占有を伴うコトレーニング検出は、検出のみのトレーニングよりも、トップクラスのmAPを1.2ポイント改善する。 我々はさらに、予測幾何と軌跡をライダーレスNuRecの前駆体として利用し、シミュレーションのための走行シーンの再構築を支援する。
  論文  参考訳（メタデータ） (2026-10-21T19:00:46Z)
• SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes? [18.37487918580111]
  本研究では,視覚言語モデル(VLM)エージェントをアクティブなオブジェクトレベル3Dマッピング上で評価するためのベンチマークであるSpatialScoutを紹介する。 SpaceScoutは3,140のターゲットオブジェクトを含む80の多様な屋内シーンで構成されている。
  論文  参考訳（メタデータ） (2026-10-19T16:17:48Z)
• Ground3D-LMM: Fine-Grained 3D Point Grounding and Spatial Reasoning with LMM [54.042182747931925]
  3D環境に関する自然言語クエリは、応答が検証可能で測定可能なときに実行可能である。 既存の3次元大規模マルチモーダルモデル (LMM) のアプローチは限定的である。 我々は,点雲と任意のRGB画像を入力として取り出す統一モデルであるGround3D-LMMを提案し,三次元空間会話をサポートする。
  論文  参考訳（メタデータ） (2026-07-06T18:00:00Z)
• 3D Segmentation Using Viewpoint-Dependent Spatial Relationships [55.198821645924234]
  220kのベンチマークサンプルを含む視点対応3Dセグメンテーションデータセットを提案する。 このデータセットでは、対象オブジェクトはオブザーバー中心の空間関係によってのみ識別できる。 カメラのポーズをエンコードする視点表現を導入し、そのモデルに観察視点を条件づける。
  論文  参考訳（メタデータ） (2026-05-15T07:58:44Z)
• LFM-3D: Learnable Feature Matching Across Wide Baselines Using 3D Signals [9.201550006194994]
  学習可能なマーカは、画像ペア間のコビジュアビリティの小さな領域だけが存在する場合、しばしば性能が低下する。 グラフニューラルネットワークに基づくモデルを用いた学習可能な特徴マッチングフレームワーク LFM-3D を提案する。 その結果,画像対の相対的ポーズ精度が向上し,画像対の相対的ポーズ精度が向上することがわかった。
  論文  参考訳（メタデータ） (2023-03-22T17:46:27Z)
• S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation with Semi-Supervised Learning [70.72037296392642]
  モノクロ画像から接触を学習できる新しい半教師付きフレームワークを提案する。 具体的には、大規模データセットにおける視覚的および幾何学的整合性制約を利用して擬似ラベルを生成する。 より正確な再構築を行うために手動インタラクションを規定するコンタクトマップを使用することの利点を示す。
  論文  参考訳（メタデータ） (2022-08-01T14:05:23Z)
• Soft Expectation and Deep Maximization for Image Feature Detection [68.8204255655161]
  質問をひっくり返し、まず繰り返し可能な3Dポイントを探し、次に検出器を訓練して画像空間にローカライズする、反復的半教師付き学習プロセスSEDMを提案する。 以上の結果から,sdmを用いてトレーニングした新しいモデルでは,シーン内の下位3dポイントのローカライズが容易になった。
  論文  参考訳（メタデータ） (2021-04-21T00:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。