論文の概要: GeoThinker-$F$: Endogenous Predictive World Representations for Fast Spatial Intelligence
- arxiv url: http://arxiv.org/abs/2610.20592v1
- Date: Wed, 14 Oct 2026 17:59:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.299021
- Title: GeoThinker-$F$: Endogenous Predictive World Representations for Fast Spatial Intelligence
- Title（参考訳）: GeoThinker-$F$: 高速空間知能のための内在的予測的世界表現
- Abstract要約: GeoThinker-$F$は因果MLを潜在潜在世界表現に変換する効率的なフレームワークである。
様々な空間知能ベンチマークの競合性能を維持しながら、外部の3Dジオメトリエンコーダへの依存をなくす。
- 参考スコア（独自算出の注目度）: 78.44669148763363
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Existing geometry-aware Multimodal Large Language Models (MLLMs) increasingly rely on external 3D encoders to provide structural priors, but executing these additional encoder paths at inference introduces substantial latency and computational overhead. We propose GeoThinker-$F$, an efficient framework that internalizes spatiotemporal perception by transforming causal MLLM hidden states into predictive latent world representations. Our key insight is that intermediate semantic representations contain sufficient information to predict useful representations of current geometry and future semantics, without requiring an exact reproduction of features from a dedicated 3D encoder. To realize this idea, GeoThinker-$F$ adopts a decoupled two-stage training strategy. In the first stage, the MLLM backbone is frozen while lightweight Latent Frame Prediction (LFP) heads learn from an offline 3D geometry expert and next-frame semantic targets. In the second stage, the external expert is removed, and the model is jointly optimized to generate and selectively integrate its self-predicted priors through a specialized Spatial-Grounded Temporal (SGT) Fusion module. Extensive evaluations show that GeoThinker-$F$ eliminates runtime dependence on external 3D geometry encoders while maintaining competitive performance across diverse spatial intelligence benchmarks. It achieves up to a $3.6\times$ inference speedup, reducing latency from $1.45\,\mathrm{s}$ to $0.40\,\mathrm{s}$ while retaining strong spatial reasoning performance.
- Abstract（参考訳）: 既存の幾何学を意識したマルチモーダル大言語モデル(MLLM)は、構造的な事前情報を提供するために外部の3Dエンコーダに依存していることが多いが、推論時に追加のエンコーダパスを実行すると、相当なレイテンシと計算オーバーヘッドが発生する。
因果MLLM隠蔽状態を予測潜在世界表現に変換することにより、時空間知覚を内部化する効率的なフレームワークであるGeoThinker-$F$を提案する。
我々の重要な洞察は、中間意味表現は、専用の3Dエンコーダから特徴の正確な再現を必要とせず、現在の幾何学と将来の意味論の有用な表現を予測するのに十分な情報を含んでいるということである。
このアイデアを実現するために、GeoThinker-$F$は分離された2段階のトレーニング戦略を採用している。
最初の段階では、MLLMバックボーンは凍結され、軽量のLatent Frame Prediction (LFP)ヘッドはオフラインの3D幾何の専門家と次のフレームセマンティックターゲットから学習する。
第2段階では、外部の専門家を排除し、モデルを共同で最適化し、SGT(Spatial-Grounded Temporal)Fusionモジュールを通じて、自己予測された事前情報を生成および選択的に統合する。
大規模な評価では、GeoThinker-$F$は外部3次元幾何エンコーダのランタイム依存を排除し、多様な空間知能ベンチマーク間の競合性能を維持している。
最大で$3.6\times$の推論スピードアップを実現し、強い空間推論性能を維持しながら、レイテンシを$1.45\,\mathrm{s}$から$0.40\,\mathrm{s}$に下げる。
関連論文リスト
- G$^2$TAM: Geometry Grounded Track Anything Model [49.05553245076823]
本稿では,RGB画像やビデオのみを用いて,3次元のインスタンス追跡を高速化するための統一的なフレームワークを提案する。
G$2$TAMは空間的に整列した幾何学的表現を暗黙記憶として使用し、安定したインスタンス識別とフレームとビュー間のローカライゼーションを保証する。
中心となるのは、視覚的およびテキスト的プロンプトを共有幾何学空間に統合し、エンドツーエンドの空間再構成とインスタンス一貫性マスク予測を可能にするクロスモーダル空間エンコーダである。
論文 参考訳（メタデータ） (2026-07-04T09:32:13Z) - S-Agent: Spatial Tool-Use Elicits Reasoning for Spatial Intelligence [77.5121349100339]
textscS-Agentは空間的知覚をフレーム中心の認識を超えたシーン中心の理解に再認識する。
textscS-Agentは、VLMをセマンティックプランナーとしてキャストし、必要な証拠を決定する。
textscS-Agentは、トレーニングのない方法で、オープンソースとクローズドソース両方のVLMを一貫して改善する。
論文 参考訳（メタデータ） (2026-06-18T17:34:55Z) - Learning Geometric Representations from Videos for Spatial Intelligent Multimodal Large Language Models [32.477423778941386]
純粋に2次元ビデオシーケンスを用いて幾何学的表現を学習するフレームワークであるGeoVRを提案する。
表面的特徴混合を採用するのではなく、GeoVRは幾何学的知識を蒸留することによってMLLMの内部表現に不満を抱く。
空間推論ベンチマークの実験は、GeoVRが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2026-06-04T08:11:12Z) - First Shape, Then Meaning: Efficient Geometry and Semantics Learning for Indoor Reconstruction [23.174056594526494]
FSTMは2段階のプロセスを通して幾何学と意味学を学習するための統一的なアプローチである。
合成および実世界の屋内データセットを用いた実験により,本手法がマルチSDF手法より優れていることが示された。
論文 参考訳（メタデータ） (2026-05-05T07:50:36Z) - Learning 3D Representations for Spatial Intelligence from Unposed Multi-View Images [81.94999489820974]
UniSplat (UniSplat) は、未提示のマルチビュー画像から3D表現を学習するためのフィードフォワードフレームワークである。
エンコーダにおける幾何誘導を強化するデュアルマスキング戦略を導入する。
第2に,外見のセマンティックな矛盾を解消する粗大なガウス的スプレイティング戦略を開発する。
第3に、予測された3次元点と意味マップを画像平面に相互に関連付ける、ポーズ条件の補正機構を導入する。
論文 参考訳（メタデータ） (2026-04-12T10:36:18Z) - Thinking with Geometry: Active Geometry Integration for Spatial Reasoning [68.59084007360615]
我々は,能動的知覚にパラダイム・パッシブ・フュージョンをシフトさせるフレームワークであるGeoThinkerを提案する。
特徴混合の代わりに、GeoThinkerはモデルが内部の推論要求に応じて条件付けられた幾何学的証拠を選択的に検索することを可能にする。
その結果,次世代の空間知能には,空間構造を積極的に統合する能力が不可欠であることが示唆された。
論文 参考訳（メタデータ） (2026-02-05T18:59:32Z) - SpatialGeo:Boosting Spatial Reasoning in Multimodal LLMs via Geometry-Semantics Fusion [23.86761713752287]
MLLM(Multimodal large language model)は、画像および言語タスクにおいて大きな進歩を遂げている。
ほとんどのMLLMは、空間的配置を3次元空間で解釈し推論する限られた空間的推論能力に悩まされている。
幾何学と意味論の階層的融合に基づく新しい視覚エンコーダを提案し,空間認識型視覚埋め込みを生成する。
論文 参考訳（メタデータ） (2025-11-21T15:24:33Z) - Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence [13.168559963356952]
純粋に2次元の観察から空間的推論を行う新しいフレームワークであるSpatial-MLLMを提案する。
我々の重要な洞察は、フィードフォワード視覚幾何学基礎モデルに先立って、強い構造を解き放つことである。
コネクタは、両方の機能を統合された視覚トークンに統合し、空間的理解を強化する。
論文 参考訳（メタデータ） (2025-05-29T17:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。