論文の概要: Scaling Spatial Intelligence with Multimodal Foundation Models

• arxiv url: http://arxiv.org/abs/2511.13719v1
• Date: Mon, 17 Nov 2025 18:59:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 18:52:09.700955
• Title: Scaling Spatial Intelligence with Multimodal Foundation Models
• Title（参考訳）: マルチモーダル基礎モデルによる空間知能のスケーリング
• Abstract要約: マルチモーダル・ファンデーション・モデルは 空間知能に 驚くべき欠陥をみせています 我々は、高性能で堅牢な空間知性を構築するために、原則的なアプローチをとる。 SenseNova-SIは、幅広い空間インテリジェンスベンチマークで前例のない性能を示している。
• 参考スコア（独自算出の注目度）: 90.32537840125009
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite remarkable progress, multimodal foundation models still exhibit surprising deficiencies in spatial intelligence. In this work, we explore scaling up multimodal foundation models to cultivate spatial intelligence within the SenseNova-SI family, built upon established multimodal foundations including visual understanding models (i.e., Qwen3-VL and InternVL3) and unified understanding and generation models (i.e., Bagel). We take a principled approach to constructing high-performing and robust spatial intelligence by systematically curating SenseNova-SI-8M: eight million diverse data samples under a rigorous taxonomy of spatial capabilities. SenseNova-SI demonstrates unprecedented performance across a broad range of spatial intelligence benchmarks: 68.7% on VSI-Bench, 43.3% on MMSI, 85.6% on MindCube, 54.6% on ViewSpatial, and 50.1% on SITE, while maintaining strong general multimodal understanding (e.g., 84.9% on MMBench-En). More importantly, we analyze the impact of data scaling, discuss early signs of emergent generalization capabilities enabled by diverse data training, analyze the risk of overfitting and language shortcuts, present a preliminary study on spatial chain-of-thought reasoning, and validate the potential downstream application. SenseNova-SI is an ongoing project, and this report will be updated continuously. All newly trained multimodal foundation models are publicly released to facilitate further research in this direction.
• Abstract（参考訳）: 顕著な進歩にもかかわらず、マルチモーダル基礎モデルは依然として空間知能に顕著な欠陥をみせている。 本研究では,視覚的理解モデル(Qwen3-VLとInternVL3)や統一的理解モデル(Bagel)を含む,確立されたマルチモーダル基盤を基盤とした,SenseNova-SIファミリー内の空間知性を育成するためのマルチモーダル基盤モデルのスケールアップを検討する。 SenseNova-SI-8M:800万種類のデータサンプルを厳密な空間能力分類の下で体系的にキュレートすることで、高性能で堅牢な空間知能を構築するための原則的なアプローチをとる。 SenseNova-SI は、VSI-Bench の68.7%、MMSI の43.3%、MindCube の85.6%、ViewSpatial の54.6%、SITE の50.1%など、幅広い空間知能ベンチマークで前例のない性能を示している。 さらに、データスケーリングの影響を分析し、多様なデータトレーニングによって実現された創発的一般化能力の早期の兆候について議論し、オーバーフィッティングや言語ショートカットのリスクを分析し、空間連鎖推論に関する予備的研究を行い、下流アプリケーションの可能性を検証する。 SenseNova-SIは進行中のプロジェクトであり、このレポートは継続的に更新される予定である。 新しく訓練されたすべてのマルチモーダル基礎モデルは、この方向のさらなる研究を促進するために、一般公開されている。

関連論文リスト

• OpenSpatial: A Principled Data Engine for Empowering Spatial Intelligence [81.95171718605265]
  高品質、拡張性、幅広いタスクの多様性、最適化された効率性のために設計されたオープンソースのデータエンジンであるOpenSpatialを紹介します。 OpenSpatialは5つの基本的なタスクにまたがって包括的なデータ階層を構築するための基本的なプリミティブとして3Dバウンディングボックスを採用している。 我々は300万個の高忠実度サンプルからなる大規模データセットOpenSpatial-3Mをキュレートする。
  論文  参考訳（メタデータ） (2026-04-08T17:03:02Z)
• HiSciBench: A Hierarchical Multi-disciplinary Benchmark for Scientific Intelligence from Reading to Discovery [50.8841471967624]
  HiSciBenchは、完全な科学的ワークフローを反映した5つのレベルにわたる基礎モデルを評価するために設計された階層的なベンチマークである。 HiSciBenchには、6つの主要な科学分野にまたがる8,735件の慎重に管理された事例が含まれている。
  論文  参考訳（メタデータ） (2025-12-28T12:08:05Z)
• From Macro to Micro: Benchmarking Microscopic Spatial Intelligence on Molecules via Vision-Language Models [49.40724953627119]
  本稿では,顕微鏡空間知能(MiSI, Microscopic Spatial Intelligence)の概念を紹介し, 目に見えない微視的実体の空間的関係を知覚し, 推論する能力について述べる。 この領域におけるビジョン・ランゲージ・モデル(VLM)の可能性を評価するため,系統的なベンチマーク・フレームワークであるMISI-Benchを提案する。 このフレームワークは163,000以上の質問応答対と約4,000の分子構造から派生した587,000の画像を備える。
  論文  参考訳（メタデータ） (2025-12-11T18:00:21Z)
• The Universal Weight Subspace Hypothesis [32.4267950435704]
  様々なタスクで訓練されたディープニューラルネットワークは、非常によく似た低次元のパラメトリック部分空間を示す。 ニューラルネットワークが共有スペクトル部分空間に体系的に収束することを示す最初の大規模な経験的証拠を提供する。 この固有の構造は、モデル再利用可能性、マルチタスク学習、モデルマージ、およびトレーニングと推論効率のアルゴリズムの開発に重要な意味を持つ。
  論文  参考訳（メタデータ） (2025-12-04T18:59:58Z)
• How Far are VLMs from Visual Spatial Intelligence? A Benchmark-Driven Perspective [103.44502230776352]
  視覚言語モデル(VLM)における視覚空間推論(VSR)の系統的研究について述べる。 空間インテリジェンスを3つのレベル,すなわち基本的な知覚,空間理解,空間計画,および空間インテリジェンスベンチマークSIBenchに分類した。
  論文  参考訳（メタデータ） (2025-09-23T12:00:14Z)
• Holistic Evaluation of Multimodal LLMs on Spatial Intelligence [81.2547965083228]
  空間情報を用いたマルチモーダルLLMの総合評価のためのEASIを提案する。 われわれはこの調査を8つの主要なベンチマークで実施し、総トークン数は100億を超えている。 実験により、GPT-5は空間知能(SI)において前例のない強みを示すが、(2)多種多様なSIタスクにおいて人的性能に欠けることが明らかとなった。
  論文  参考訳（メタデータ） (2025-08-18T17:55:17Z)
• SpatialScore: Towards Unified Evaluation for Multimodal Spatial Understanding [64.15606979785355]
  マルチモーダル大規模言語モデル(MLLM)は,質問応答タスクにおいて顕著な成功を収めているが,空間的理解能力は乏しい。 既存のMLLMは3次元空間認識と理解能力を持っているか?
  論文  参考訳（メタデータ） (2025-05-22T17:59:03Z)
• SkySense: A Multi-Modal Remote Sensing Foundation Model Towards Universal Interpretation for Earth Observation Imagery [35.550999964460466]
  本稿では,2150万の時間的シーケンスを持つマルチモーダルリモートセンシングデータセットを事前トレーニングした総称10億スケールモデルSkySenseを提案する。 我々の知る限り、SkySenseは今までで最大のマルチモーダルであり、モジュールを柔軟に組み合わせたり、個別に使用して様々なタスクに適合させることができる。
  論文  参考訳（メタデータ） (2023-12-15T09:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。