論文の概要: GeoSense: Internalizing Geometric Necessity Perception for Multimodal Reasoning
- arxiv url: http://arxiv.org/abs/2603.10370v1
- Date: Wed, 11 Mar 2026 03:32:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-12 16:22:32.763915
- Title: GeoSense: Internalizing Geometric Necessity Perception for Multimodal Reasoning
- Title（参考訳）: GeoSense:マルチモーダル推論のための幾何学的必要知覚の内在化
- Abstract要約: マルチモーダル大規模言語モデル(MLLM)の限られた空間的理解を克服する枠組みを開発する。
この枠組みは,2次元の手がかりが不十分と判断された場合の推論において,幾何学的特徴を自律的に関与させることにより,知覚的不整合を意識したモデルを実現する。
- 参考スコア（独自算出の注目度）: 51.63457948949102
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Advancing towards artificial superintelligence requires rich and intelligent perceptual capabilities. A critical frontier in this pursuit is overcoming the limited spatial understanding of Multimodal Large Language Models (MLLMs), where geometry information is essential. Existing methods often address this by rigidly injecting geometric signals into every input, while ignoring their necessity and adding computation overhead. Contrary to this paradigm, our framework endows the model with an awareness of perceptual insufficiency, empowering it to autonomously engage geometric features in reasoning when 2D cues are deemed insufficient. To achieve this, we first introduce an independent geometry input channel to the model architecture and conduct alignment training, enabling the effective utilization of geometric features. Subsequently, to endow the model with perceptual awareness, we curate a dedicated spatial-aware supervised fine-tuning dataset. This serves to activate the model's latent internal cues, empowering it to autonomously determine the necessity of geometric information. Experiments across multiple spatial reasoning benchmarks validate this approach, demonstrating significant spatial gains without compromising 2D visual reasoning capabilities, offering a path toward more robust, efficient and self-aware multi-modal intelligence.
- Abstract（参考訳）: 人工超知能への適応には、豊かでインテリジェントな知覚能力が必要である。
この追求における重要なフロンティアは、幾何学情報が不可欠であるマルチモーダル大言語モデル(MLLM)の空間的理解の制限を克服することである。
既存の手法では、全ての入力に幾何学的信号を厳格に注入し、必要を無視し、計算オーバーヘッドを追加することで、この問題に対処することが多い。
このパラダイムとは対照的に、我々のフレームワークは知覚障害を意識してモデルをサポートし、2次元キューが不十分と判断された場合の推論において、幾何学的特徴を自律的に行うことができる。
これを実現するために、まずモデルアーキテクチャに独立した幾何学入力チャネルを導入し、アライメントトレーニングを行い、幾何学的特徴を効果的に活用する。
その後、知覚的認識をモデルに与えるために、専用空間認識型微調整データセットをキュレートする。
これはモデルの潜伏した内部キューを活性化し、幾何学的情報の必要性を自律的に決定する権限を与える。
複数の空間的推論ベンチマークの実験により、このアプローチが検証され、2次元の視覚的推論能力を損なうことなく、より堅牢で効率的で自己認識的なマルチモーダルインテリジェンスへの道筋が示される。
関連論文リスト
- Geometry-Aware Reinforcement Learning for 2D Irregular Nesting [0.0]
強化学習は、このボトルネックを克服するために一意に位置づけられている、と私たちは主張する。
最適化ポリシーを幾何学的認識型ニューラルエンコーダと組み合わせることで、エージェントはリッチな幾何学的先行点を自動的に発見することができる。
訓練されたエージェント領域利用性能は,最先端の解法であるSparrowと高い競争力を持つことを示す。
論文 参考訳（メタデータ） (2026-06-09T09:11:36Z) - Learning Geometric Representations from Videos for Spatial Intelligent Multimodal Large Language Models [32.477423778941386]
純粋に2次元ビデオシーケンスを用いて幾何学的表現を学習するフレームワークであるGeoVRを提案する。
表面的特徴混合を採用するのではなく、GeoVRは幾何学的知識を蒸留することによってMLLMの内部表現に不満を抱く。
空間推論ベンチマークの実験は、GeoVRが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2026-06-04T08:11:12Z) - From Where Things Are to What They Are For: Benchmarking Spatial-Functional Intelligence in Multimodal LLMs [19.943841049221625]
本稿では,1500以上の専門家に注釈を付けたビデオベースのベンチマークであるSFI-Benchについて紹介する。
SFI-Benchは先進的推論の2つの相補的次元を体系的に評価する。
論文 参考訳（メタデータ） (2026-05-04T01:19:36Z) - SpatialImaginer: Towards Adaptive Visual Imagination for Spatial Reasoning [67.67774742200626]
空間知能は、視覚的な観察から幾何学的および物理的構造を推論する能力を指すもので、大きな言語モデルにとって重要な課題である。
テキスト推論と視覚的想像力を組み合わせた統合型マルチモーダル生成フレームワークを提案する。
本フレームワークでは,高レベルなセマンティックプランニングのためのテキストチェーンと,幾何感応的な状態変換と整合性保存のための視覚的想像力を用いて,分割・対数戦略を採用している。
論文 参考訳（メタデータ） (2026-04-19T11:21:59Z) - SpatialEvo: Self-Evolving Spatial Intelligence via Deterministic Geometric Environments [75.60795462502949]
SpaceEvoは3D空間推論のための自己進化型フレームワークである。
16の空間推論タスクカテゴリを明示的な幾何学的検証規則で定式化する。
注釈のない3Dシーンをゼロノイズのインタラクティブなオラクルに変換し、モデルコンセンサスを客観的な物理的フィードバックに置き換える。
論文 参考訳（メタデータ） (2026-04-15T17:59:12Z) - World2Mind: Cognition Toolkit for Allocentric Spatial Reasoning in Foundation Models [25.135316296678187]
既存の手法は、3Dグラウンドデータを介して統計的ショートカットを過度に適合させるか、2Dの視覚的知覚に限定される。
トレーニング不要な空間情報ツールキット World2Mind を提案する。
我々はWorld2MindがGPT-5.2のようなフロンティアモデルの性能を5%18%向上させることを示した。
論文 参考訳（メタデータ） (2026-03-10T15:12:14Z) - Thinking with Geometry: Active Geometry Integration for Spatial Reasoning [68.59084007360615]
我々は,能動的知覚にパラダイム・パッシブ・フュージョンをシフトさせるフレームワークであるGeoThinkerを提案する。
特徴混合の代わりに、GeoThinkerはモデルが内部の推論要求に応じて条件付けられた幾何学的証拠を選択的に検索することを可能にする。
その結果,次世代の空間知能には,空間構造を積極的に統合する能力が不可欠であることが示唆された。
論文 参考訳（メタデータ） (2026-02-05T18:59:32Z) - Forging Spatial Intelligence: A Roadmap of Multi-Modal Data Pre-Training for Autonomous Systems [75.78934957242403]
自動運転車とドローンは、マルチモーダル搭載センサーデータから真の空間情報を必要とする。
本稿では,この目標に向かって進む中核的な技術群を同定し,マルチモーダル・プレトレーニングのためのフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-30T17:58:01Z) - COOPER: A Unified Model for Cooperative Perception and Reasoning in Spatial Intelligence [57.63155257058967]
我々は,統合MLLMが空間知覚を高める本質的な能力を発達させ,適応的インターリーブ推論により,より強力な空間知性を実現することができるかどうかを検討する。
深度とセグメンテーションを補助モダリティとして活用し,補助モダリティ生成と適応的,インターリーブな推論能力を得るために2段階の訓練を施した統合MLLMである textbfCOOPER を提案する。
論文 参考訳（メタデータ） (2025-12-04T08:26:04Z) - Cross-Modal Geometric Hierarchy Fusion: An Implicit-Submap Driven Framework for Resilient 3D Place Recognition [9.411542547451193]
本稿では,密度に依存しない幾何学的推論により3次元位置認識を再定義するフレームワークを提案する。
具体的には、元のシーンポイント雲密度の干渉に免疫する弾性点に基づく暗黙の3次元表現を導入する。
これら2種類の情報を活用することで,鳥眼視と3Dセグメントの両視点から幾何学的情報を融合する記述子を得る。
論文 参考訳（メタデータ） (2025-06-17T07:04:07Z) - Spatial Knowledge Graph-Guided Multimodal Synthesis [78.11669780958657]
本稿では,空間知識グラフによって導かれる新しいマルチモーダル合成手法を提案する。
実験では、方向や距離を含む多様な空間知識から合成されたデータにより、MLLMの空間知覚と推論能力が著しく向上する。
知識に基づくデータ合成のアイデアが空間知性の発展を促進することを願っている。
論文 参考訳（メタデータ） (2025-05-28T17:50:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。