論文の概要: Assisted Spatial Cognition Through Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.12747v1
• Date: Fri, 11 Sep 2026 11:58:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.734488
• Title: Assisted Spatial Cognition Through Vision-Language Models
• Title（参考訳）: 視覚言語モデルによる空間認知支援
• Abstract要約: マルチモーダルAIは、視覚データとテキストデータの同時処理を可能にすることで、補助技術を変革している。 この進歩は、世界中で4300万人以上の視覚障害と神経分裂の個人にとって大きな約束である。 本稿では,Large Language Models(LLM)とVision-Language Models(VLM)を統合した,新たなエンドツーエンドフレームワークを提案する。 本システムは,標準携帯電話カメラによる映像入力をキャプチャし,SLAM3Rを用いて高密度の3D点雲をリアルタイムに生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal AI, powered by Large Language Models (LLMs) and Vision-Language Models (VLMs), is transforming assistive technologies by enabling simultaneous processing of visual and textual data. This advancement holds significant promise for over 43 million visually impaired and neuro-divergent individuals worldwide who face persistent challenges in navigating indoor and outdoor environments due to limited spatial awareness and insufficient environmental cues. Existing navigation aids often lack comprehensive 3D scene understanding, relying on constrained route-based strategies that hinder user autonomy. In this paper, we introduce a novel end-to-end framework that integrates LLMs, VLMs and digital twin technologies to deliver a spatially cognitive navigation support for visually impaired and neuro-divergent users. Our system captures video input via standard mobile phone cameras, and employs SLAM3R to generate dense 3D point clouds from monocular RGB sequences in real-time. Our custom post-processing algorithm ensures accurate point cloud alignment across multiple viewpoints without requiring predefined reference points. This enhances the capabilities of SpatialLM to produce structured 3D representations, including architectural elements and oriented object bounding boxes. The enriched spatial data is then processed by a locally deployed LLM, which interprets 3D contexts to generate detailed scene descriptions and precise distance measurements between users and surrounding objects. We evaluated our approach across diverse video scenarios featuring various perspectives, looped walking views and captured in multiple environments. The evaluation results demonstrate consistent accuracy in 3D scene interpretation and object localisation, underscoring the potential of our system as a transformative assistive navigation solution that combines advanced visual perception with spatial reasoning
• Abstract（参考訳）: LLM(Large Language Models)とVLM(Vision-Language Models)を駆使したマルチモーダルAIは、視覚データとテキストデータの同時処理を可能にすることで、補助技術を変革しようとしている。 この進歩は、世界で4300万人以上の視覚障害と神経障害を抱える個人にとって大きな約束であり、空間的な認識が限られ、環境が不十分なため、屋内と屋外の環境をナビゲートする上で永続的な課題に直面している。 既存のナビゲーションアシスタントは、ユーザーの自律性を阻害する制約付きルートベースの戦略に依存するため、包括的な3Dシーン理解を欠くことが多い。 本稿では,視覚障害者と神経障害者を対象とした空間認知ナビゲーション支援を実現するために,LLM,VLM,デジタルツイン技術を統合した新しいエンドツーエンドフレームワークを提案する。 本システムは,標準携帯電話カメラによる映像入力をキャプチャし,SLAM3Rを用いてモノクロRGBシーケンスから高密度な3D点雲をリアルタイムに生成する。 我々のカスタムな後処理アルゴリズムは、予め定義された参照ポイントを必要とせずに、複数の視点で正確なポイントクラウドアライメントを保証します。 これにより、アーキテクチャ要素やオブジェクト指向オブジェクト境界ボックスを含む構造化された3D表現を生成するSpatialLMの能力が向上する。 拡張された空間データは、ローカルにデプロイされたLCMによって処理され、3Dコンテキストを解釈して、ユーザと周囲のオブジェクト間の詳細なシーン記述と正確な距離測定を生成する。 我々は,様々な視点,ループ型歩行ビュー,複数の環境下での撮影を特徴とする多様な映像シナリオにまたがってアプローチを評価した。 評価結果は3次元シーンの解釈と物体位置定位において一貫した精度を示し、先進的な視覚認識と空間的推論を組み合わせた変換的補助ナビゲーションソリューションとして、我々のシステムの可能性を強調している。

関連論文リスト

• Implicit Geometry Representations for Vision-and-Language Navigation from Web Videos [87.15961946494629]
  本稿では,Web ベースのルームツアービデオから派生した大規模ビデオ教育フレームワークを提案する。 既存のデータセットとは異なり、我々のフレームワークは3Dで再構成されたオープンエンドな記述リッチな軌跡とアクションリッチな軌跡を統合している。 この研究の鍵となる拡張は暗黙の幾何学的表現の取り込みであり、それは、脆弱な3D再構成を必要とせず、RGBフレームから直接空間的手がかりを抽出するものである。
  論文  参考訳（メタデータ） (2026-03-10T06:47:38Z)
• Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
  視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。 我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。 提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
  論文  参考訳（メタデータ） (2025-11-14T04:16:09Z)
• VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction [86.82819259860186]
  本稿では,視覚言語モデル(VLM)のための統合フレームワークであるVLM-3Rについて紹介する。 VLM-3Rは、空間的理解を表す暗黙の3Dトークンを導出する幾何学エンコーダを用いて、モノクロビデオフレームを処理する。
  論文  参考訳（メタデータ） (2025-05-26T17:56:30Z)
• Agentic 3D Scene Generation with Spatially Contextualized VLMs [67.31920821192323]
  本稿では,複雑な3D環境の生成,理解,編集を可能にする新しいパラダイムを提案する。 我々は,VLMが空間コンテキストから反復的に読み取って更新するエージェント型3Dシーン生成パイプラインを開発した。 その結果,我々のフレームワークは多様かつ困難な入力を処理でき,事前の作業では観測できないような一般化のレベルを達成することができることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T15:28:17Z)
• Extending Large Vision-Language Model for Diverse Interactive Tasks in Autonomous Driving [45.82124136705798]
  DriveMonkeyは、大きなビジュアル言語モデルと空間プロセッサをシームレスに統合するフレームワークである。 我々の実験によると、DriveMonkeyは一般的なLVLMよりも優れており、特に3D視覚グラウンドタスクにおいて9.86%の顕著な改善が達成されている。
  論文  参考訳（メタデータ） (2025-05-13T16:36:51Z)
• V3LMA: Visual 3D-enhanced Language Model for Autonomous Driving [2.3302708486956454]
  本稿では,LVLMとLLM(Large Language Models)を統合することで,3次元シーン理解を向上させる新しいアプローチであるV3LMAを紹介する。 V3LMAは、オブジェクト検出やビデオ入力から生成されたテキスト記述を活用し、微調整を必要とせずに性能を大幅に向上させる。 本稿では,複雑な交通シナリオにおける状況認識と意思決定を改善し,LingoQAベンチマークのスコア0.56を達成している。
  論文  参考訳（メタデータ） (2025-04-30T20:00:37Z)
• Articulate3D: Holistic Understanding of 3D Scenes as Universal Scene Description [56.69740649781989]
  3Dシーン理解は、コンピュータビジョンにおける長年の課題であり、混合現実、ウェアラブルコンピューティング、そして具体化されたAIを実現する上で重要な要素である。 室内280のシーンに高品質な手動アノテーションを付加した専門的な3DデータセットであるArticulate3Dを紹介する。 我々はまた,部分分割を同時に予測できる新しい統一フレームワークUSDNetと,オブジェクトの動作属性の完全な仕様を提示する。
  論文  参考訳（メタデータ） (2024-12-02T11:33:55Z)
• Volumetric Environment Representation for Vision-Language Navigation [66.04379819772764]
  視覚言語ナビゲーション(VLN)は、視覚的な観察と自然言語の指示に基づいて、エージェントが3D環境をナビゲートする必要がある。 本研究では,物理世界を3次元構造細胞にボクセル化するボリューム環境表現(VER)を提案する。 VERは3D占有率、3D部屋レイアウト、および3Dバウンディングボックスを共同で予測する。
  論文  参考訳（メタデータ） (2024-03-21T06:14:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。