論文の概要: Towards Physics-informed Spatial Intelligence with Human Priors: An Autonomous Driving Pilot Study
- arxiv url: http://arxiv.org/abs/2510.21160v1
- Date: Fri, 24 Oct 2025 05:21:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 09:00:15.393388
- Title: Towards Physics-informed Spatial Intelligence with Human Priors: An Autonomous Driving Pilot Study
- Title（参考訳）: 物理インフォームド・スペースインテリジェンスを目指して--自律運転パイロットによる研究
- Abstract要約: 現在の実践は、純粋にテキストプロンプトとVQAスタイルのスコアリングを備えた視覚空間知能をプロキシする。
SIG(Spatial Intelligence Grid)は、オブジェクトのレイアウト、オブジェクト間の関係、物理的に接地された事前情報をエンコードする、構造化されたグリッドベースのスキーマである。
数ショットの学習では、SIGはVQAのみの表現に比べて一貫して大きく、より安定し、より包括的なゲインを得る。
- 参考スコア（独自算出の注目度）: 11.95708935775877
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How to integrate and verify spatial intelligence in foundation models remains an open challenge. Current practice often proxies Visual-Spatial Intelligence (VSI) with purely textual prompts and VQA-style scoring, which obscures geometry, invites linguistic shortcuts, and weakens attribution to genuinely spatial skills. We introduce Spatial Intelligence Grid (SIG): a structured, grid-based schema that explicitly encodes object layouts, inter-object relations, and physically grounded priors. As a complementary channel to text, SIG provides a faithful, compositional representation of scene structure for foundation-model reasoning. Building on SIG, we derive SIG-informed evaluation metrics that quantify a model's intrinsic VSI, which separates spatial capability from language priors. In few-shot in-context learning with state-of-the-art multimodal LLMs (e.g. GPT- and Gemini-family models), SIG yields consistently larger, more stable, and more comprehensive gains across all VSI metrics compared to VQA-only representations, indicating its promise as a data-labeling and training schema for learning VSI. We also release SIGBench, a benchmark of 1.4K driving frames annotated with ground-truth SIG labels and human gaze traces, supporting both grid-based machine VSI tasks and attention-driven, human-like VSI tasks in autonomous-driving scenarios.
- Abstract（参考訳）: 基礎モデルの空間的インテリジェンスの統合と検証は、依然としてオープンな課題である。
現在の慣習は、純粋にテキストのプロンプトとVQAスタイルのスコアで視覚空間知能(VSI)をプロキシし、幾何学を曖昧にし、言語的ショートカットを招待し、真の空間的スキルへの帰属を弱める。
SIG(Spatial Intelligence Grid)は、オブジェクトのレイアウト、オブジェクト間の関係、物理的に接地された事前情報を明示的にエンコードする、構造化されたグリッドベースのスキーマである。
テキストを補完するチャネルとして、SIGは基礎モデル推論のためのシーン構造の忠実で構成的な表現を提供する。
SIGに基づいて,モデル固有のVSIを定量化するSIGインフォームド評価指標を導出する。
最先端のマルチモーダルLLM(例えばGPTモデルとジェミニモデル)を使った数ショットのインコンテキスト学習では、SIGはVQAのみの表現と比較して、VSIを学習するためのデータラベル付けおよびトレーニングスキーマとして、より大きく、より安定しており、より包括的なVSIメトリクスのゲインを一貫して獲得する。
我々はまた、グリッドベースのマシンVSIタスクと、自動運転シナリオにおける注目駆動の人間ライクなVSIタスクの両方をサポートする、地味なSIGラベルと人間の視線トレースで注釈付けされた1.4Kの駆動フレームのベンチマークであるSIGBenchをリリースした。
関連論文リスト
- SSC-Priors: Exploring Semantic and Visibility Priors to Boost Lidar Semantic Scene Completion [61.665449818739155]
本稿では,ライダー・セマンティック・シーン・コンプリート(SSC)のための既存ネットワークの性能向上戦略について検討する。
我々は、既存のアプローチを改善するために、意味的な擬似ラベルとセンサ可視情報を使用する。
そこで本研究では,既成のSSCモデルの性能を著しく向上させ,意味的な擬似ラベルを用いた入力点雲の実現について述べる。
論文 参考訳（メタデータ） (2026-09-15T16:37:46Z) - Semantic-Aware Subgraph State Space Model for WSI Classification in Histopathology [10.122580025041303]
スライド画像全体(WSI)分類のためのセマンティック・アウェア・サブグラフ状態空間モデル(SASG-SSM)を提案する。
SASG-SSMは、空間的に連結されたパッチを適応的にグループ化することで不規則な形状のセマンティックユニットを近似する。
このモジュールは、セマンティックユニット内のローカルな構造情報と、その分布と共起から生じるグローバルなコンテキスト情報を統合する。
論文 参考訳（メタデータ） (2026-09-03T11:26:43Z) - USS: Unified Spatial-Semantic Prompts for Embodied Visual Tracking with Latent Dynamics Learning [18.003030497082623]
Embodied Visual Tracking (EVT)では、エージェントが動的環境を積極的に移動しながら、指定されたターゲットを継続的に追跡する必要がある。
本稿では,EVTにおける目標指示をテキストのみの仕様から統一的な空間意味的プロンプトへと緩和するパラダイムシフトを提案する。
潜時ダイナミクス学習を用いた身体的視覚追跡のための統一空間意味プロンプトを提案する。
論文 参考訳（メタデータ） (2026-06-24T14:25:05Z) - OmniGF: A Dual-Branch Vision-Language Framework for Unified Gaze Following [59.53720386342017]
拡張性のある多対人視線推論に基礎的な視覚言語モデルを適用する統合視覚言語フレームワークを提案する。
すべての個人をモデル化することにより、OmniGFは正確な空間的視線目標推定、意味的視線予測、複雑な社会的視線推定をシームレスに統合する。
論文 参考訳（メタデータ） (2026-05-26T00:08:06Z) - TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation [70.23578202012048]
Vision-Language Navigation (VLN) は、アーキテクチャ上のミスマッチのため、大きなビジョン-Language Models (VLM) に固有の課題を提示している。
我々は,VLMのバックボーンにトポロジ構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(トポロジ・アウェア・グローバルアクション推論)を提案する。
トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。
埋め込みトポロジグラフでは、このモデルはグローバルな行動推論が可能であり、堅牢な経路補正を可能にする。
論文 参考訳（メタデータ） (2026-03-03T13:28:07Z) - STVG-R1: Incentivizing Instance-Level Reasoning and Grounding in Videos via Reinforcement Learning [65.36458157092207]
視覚言語モデル(VLM)では、テキスト記述と視覚座標のミスアライメントはしばしば幻覚を引き起こす。
本稿では,座標の調整が難しい問題を回避するために,新しい視覚的プロンプトパラダイムを提案する。
本稿では,STVGの最初の強化学習フレームワークであるSTVG-R1を紹介する。
論文 参考訳（メタデータ） (2026-02-12T08:53:32Z) - Spatial-DISE: A Unified Benchmark for Evaluating Spatial Reasoning in Vision-Language Models [21.28937516885804]
我々は,タスクを4つの基本四分節に分類する認知的基盤の分類に基づく統合ベンチマークtextbfSpatial-DISEを提案する。
データ不足の問題に対処するため,多様かつ検証可能な空間的推論問題を生成するスケーラブルで自動化されたパイプラインを開発した。
論文 参考訳（メタデータ） (2025-10-15T10:44:01Z) - Executable Analytic Concepts as the Missing Link Between VLM Insight and Precise Manipulation [70.8381970762877]
VLM(Vision-Language Models)は、セマンティック推論とタスク計画において顕著な能力を示す。
本稿では,VLMに基づく推論を実行可能な解析概念を通じて基礎づける新しいフレームワークであるGRACEを紹介する。
G GRACEは高レベル命令理解と低レベルロボット制御の統一的で解釈可能なインターフェースを提供する。
論文 参考訳（メタデータ） (2025-10-09T09:08:33Z) - How Far are VLMs from Visual Spatial Intelligence? A Benchmark-Driven Perspective [103.44502230776352]
視覚言語モデル(VLM)における視覚空間推論(VSR)の系統的研究について述べる。
空間インテリジェンスを3つのレベル,すなわち基本的な知覚,空間理解,空間計画,および空間インテリジェンスベンチマークSIBenchに分類した。
論文 参考訳（メタデータ） (2025-09-23T12:00:14Z) - SPHERE: Semantic-PHysical Engaged REpresentation for 3D Semantic Scene Completion [52.959716866316604]
カメラベース3Dセマンティックシーンコンプリート(SSC)は自動運転システムにおいて重要な課題である。
本稿では,SPHERE (Semantic-PHysical Engaged Representation) を提案する。
SPHEREは、意味情報と物理的情報の共同利用のためのボクセルとガウス表現を統合している。
論文 参考訳（メタデータ） (2025-09-14T09:07:41Z) - Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。
VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。
本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
論文 参考訳（メタデータ） (2025-08-06T09:03:10Z) - HiLa: Hierarchical Vision-Language Collaboration for Cancer Survival Prediction [55.00788339683146]
生存予測を改善するための新しい階層型視覚・言語協調フレームワークを提案する。
具体的には、HiLaは事前訓練された特徴抽出器を使用して、パッチレベルとリージョンレベルの両方でWSIから階層的な視覚的特徴を生成する。
このap-proachは、プロンプトから異なる生存関連属性に対応する識別的視覚特徴の包括的学習を可能にする。
論文 参考訳（メタデータ） (2025-07-07T02:06:25Z) - Assured Autonomy with Neuro-Symbolic Perception [11.246557832016238]
サイバー物理システム(CPS)にデプロイされる最先端AIモデルの多くは、パターンマッチングである。
セキュリティの保証が限られているため、安全クリティカルなドメインと競合するドメインの信頼性が懸念される。
本稿では,データ駆動型知覚モデルにシンボル構造を付与するパラダイムシフトを提案する。
論文 参考訳（メタデータ） (2025-05-27T15:21:06Z) - Hierarchical Instruction-aware Embodied Visual Tracking [35.73851196966425]
User-Centric Embodied Visual Tracking (UC-EVT)は、強化学習に基づくモデルにおいて、新しい課題を提示している。
我々は,テキスト空間目標を仲介として利用する命令理解と行動生成を橋渡しする,テキストbfインストラクションを意識した身体的視覚追跡(HIEVT)エージェントを提案する。
論文 参考訳（メタデータ） (2025-05-27T04:36:26Z) - SITE: towards Spatial Intelligence Thorough Evaluation [121.1493852562597]
空間知能 (Spatial Intelligence, SI) は、空間的関係の可視化、操作、推論を含む認知能力を表す。
SI Thorough Evaluationに向けたベンチマークデータセットであるSITEを紹介する。
ベンチマークの計算には、31の既存のデータセットに関するボトムアップ調査と、認知科学の3つの分類システムに基づくトップダウン戦略を組み合わせる。
論文 参考訳（メタデータ） (2025-05-08T17:45:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。