論文の概要: Uruqi: Learning Spatial Cognition from Visual Experience
- arxiv url: http://arxiv.org/abs/2609.39195v1
- Date: Wed, 30 Sep 2026 07:47:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.402193
- Title: Uruqi: Learning Spatial Cognition from Visual Experience
- Title（参考訳）: Uruqi: 視覚経験から空間認知を学ぶ
- Abstract要約: 我々は、視覚言語モデル(VLM)における空間認識を開発するためのスケーラブルな監視源として、スーパービジョンされた連続的な視覚体験を提供する。
我々は,11,738個のモチーフ駆動カメラ軌跡を広範囲の3Dシーンで合成し,自己動作追跡,永続オブジェクトマッピング,各視覚体験における豊かな空間操作をサポートする。
URUQI$_mathrmSyn$-8Bは、これらの原子質問を推論するモデルをトレーニングすることで、Uruqiベンチマークの精度を15.84%から47.73%に改善します。
- 参考スコア（独自算出の注目度）: 24.19092824006856
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spatial intelligence requires maintaining a coherent understanding of the world as the embodied agent moves. Like humans, the agent must use its own motion to interpret changes across observations and update object locations and spatial relations accordingly. Despite spatial post-training having substantially broadened the spatial intelligence of vision-language models (VLMs), they still struggle with two atomic spatial capabilities: tracking self-motion and mapping the surrounding world during motion. To address this gap, we provide dense multi-turn supervision over interleaved atomic capabilities within each training episode, mimicking the visual experience of a continuously moving agent that reasons as it observes. To scale this up, we synthesize 11,738 motif-driven camera trajectories over a broad range of 3D scenes, supporting self-motion tracking, persistent object mapping, and rich spatial operations within each visual experience. By training models to reason over these atomic questions, our URUQI$_{\mathrm{Syn}}$-8B improves accuracy from 15.84% to 47.73% on our Uruqi benchmark comprising 52k questions across 2.7k episodes. URUQI-SI-Mix-8B further reaches 50.41%, comparable to the 50.08% achieved by GPT-6 Astra. Trained solely on our synthesized data, URUQI$_{\mathrm{Syn}}$-8B achieves an average relative accuracy improvement of 17.13% over its InternVL3-8B backbone across three external spatial benchmarks. These results highlight continuous visual experience as a scalable source of supervision for developing spatial cognition in VLMs.
- Abstract（参考訳）: 空間知能は、具体的エージェントが動くにつれて、世界のコヒーレントな理解を維持する必要がある。
人間と同様に、エージェントは自身の動きを使って、観察全体にわたる変化を解釈し、それに応じて物体の位置と空間関係を更新する必要がある。
空間的ポストトレーニングは視覚言語モデル(VLM)の空間的知能を大幅に拡張したにもかかわらず、彼らはまだ2つの原子的空間的能力に苦慮している。
このギャップに対処するために、我々は、各トレーニングエピソードにおけるインターリーブされた原子能力に対する密集したマルチターン監視を提供し、観察するときに原因となる連続移動エージェントの視覚的経験を模倣する。
これをスケールアップするために,11,738個のモチーフ駆動カメラ軌道を広範囲の3Dシーンで合成し,自己動作追跡,永続オブジェクトマッピング,各視覚体験におけるリッチな空間操作をサポートする。
URUQI$_{\mathrm{Syn}}$-8Bは、これらの原子質問を推論するモデルをトレーニングすることで、Uruqiベンチマークの精度を15.84%から47.73%に向上させ、2.7kエピソードにわたる52kの質問を含む。
URUQI-SI-Mix-8Bはさらに50.41%に達し、GPT-6アストラの50.08%に匹敵する。
URUQI$_{\mathrm{Syn}}$-8Bは、外部空間の3つのベンチマークで、InternVL3-8Bのバックボーンの平均相対精度を17.13%向上させる。
これらの結果は、VLMにおける空間認知の発達のための拡張性のある監視源として、継続的な視覚経験を強調している。
関連論文リスト
- GST-Bench: Can VLMs Develop Global Spatial Awareness from Video? [28.125428186179573]
GST-Benchは、ビデオ理解におけるグローバル空間知能のベンチマークである。
入力ビデオには見えない新しい視点から正確な空間推定を行うモデルが必要である。
最強のゼロショットモデルはわずか42.68で、人間のスコア79.08よりはるかに低い。
論文 参考訳（メタデータ） (2026-08-06T08:33:13Z) - Are VLMs Lost Between Sky and Space? LinkS$^2$Bench for UAV-Satellite Dynamic Cross-View Spatial Intelligence [107.79496500634691]
LinkS$2$Benchは、ダイナミックUAV映像の1,022分を200km$2$の高解像度衛星画像とリンクする。
LMMを用いたパイプラインと厳密な人間のアノテーションを用いて17.9kの高品質な質問応答ペアを構築した。
評価は、人間のベースラインとはかなりの差を示し、正確なクロスビューのダイナミックアライメントを重要なボトルネックと特定する。
論文 参考訳（メタデータ） (2026-04-02T13:22:57Z) - PanoEnv: Exploring 3D Spatial Intelligence in Panoramic Environments with Reinforcement Learning [5.308328605042682]
360パノラマ画像は、バーチャルリアリティー、自律運転、総合的なシーン理解のためのロボティクスでますます利用されている。
現在の視覚言語モデル(VLM)は、幾何学的歪みと限定的な3次元監督のため、等角射影(ERP)画像の空間的推論に苦慮している。
合成3D環境から構築した大規模VQAベンチマークであるPanoEnvを紹介する。
我々の7Bモデルは、新しい最先端性能を実現し、全体的な精度を52.93%(+3.59%)、オープンエンド精度を14.83%に改善し、構造化タスク性能を維持した。
論文 参考訳（メタデータ） (2026-02-25T15:12:17Z) - Learning Situated Awareness in the Real World [63.75211123289058]
SAW-Benchは、実世界のビデオを用いて自我中心的な位置認識を評価するための新しいベンチマークである。
6つの異なる認識タスクでモデルのオブザーバ中心の理解を探索する。
我々の総合評価では、最高のMFMであるGemini 3 Flashでさえ、人間モデルのパフォーマンスギャップは37.66%である。
論文 参考訳（メタデータ） (2026-02-18T18:22:52Z) - Visual Spatial Tuning [98.96397681943255]
視覚空間調整(VST)は視覚言語モデル(VLM)を人間に似た視覚空間能力で培養する包括的フレームワークである。
特に,基礎的な空間知識を構築するための微調整を指導し,さらに空間推論能力を向上させるための強化学習を行う。
その結果、ビジョン・ランゲージ・アクションモデルが空間的チューニングのパラダイムによって大幅に拡張され、より物理的に接地されたAIへの道が開けることが判明した。
論文 参考訳（メタデータ） (2025-11-07T18:59:16Z) - InternVLA-M1: A Spatially Guided Vision-Language-Action Framework for Generalist Robot Policy [138.89177083578213]
空間接地とロボット制御のための統合フレームワークであるInternVLA-M1を紹介する。
InternVLA-M1は、(i)2.3M以上の空間的推論データに基づく空間的グラウンドトレーニングと(ii)空間的に誘導された後トレーニングという、2段階のパイプラインを使用する。
結果: InternVLA-M1 は SimplerEnv Google Robot で+14.6%、WidowX で+17%、LIBERO Franka で+4.3% で、空間誘導なしでその変種を上回った。
論文 参考訳（メタデータ） (2025-10-15T17:30:05Z) - LRR-Bench: Left, Right or Rotate? Vision-Language models Still Struggle With Spatial Understanding Tasks [22.011855291417856]
VLM(Vision-Language Models)が空間的関係を認識し空間的動きを知覚する方法は、まだ解明されていない。
本研究では,空間評価パイプラインを導入し,対応するベンチマークを構築する。
我々は、複数の最先端VLMの実験を行い、改善の余地があることを観察する。
論文 参考訳（メタデータ） (2025-07-27T08:31:24Z) - Spatial Mental Modeling from Limited Views [71.57140964322559]
新しいMindCubeベンチマークでは、3,268枚の画像に21,154件の質問があった。
MindCubeを用いて、視覚言語モデル(VLM)がいかに堅牢な空間精神モデルを構築するかを評価する。
次に、VLMが空間的メンタルモデルに近似する3つのアプローチを探索する。
論文 参考訳（メタデータ） (2025-06-26T16:38:19Z) - SAT: Dynamic Spatial Aptitude Training for Multimodal Language Models [78.06537464850538]
シミュレーションは,実画像に翻訳する空間的適性を与えるのに驚くほど効果的であることを示す。
シミュレーションにおける完全アノテーションは、擬似アノテーション実画像の既存のアプローチよりも効果的であることを示す。
論文 参考訳（メタデータ） (2024-12-10T18:52:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。