論文の概要: Seek-and-View Reasoning for Multi-View Spatial Understanding
- arxiv url: http://arxiv.org/abs/2610.11810v1
- Date: Thu, 08 Oct 2026 12:18:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:54.018274
- Title: Seek-and-View Reasoning for Multi-View Spatial Understanding
- Title（参考訳）: 多視点空間理解のためのSeek-and-View Reasoning
- Abstract要約: したがって、視覚言語モデル(VLM)は、シーンを理解し、これらの固定されたビュー内の空間的関係を推測するために制限される。
我々は、暗黙的な空間的証拠を見つけるために、新しいSeek-and-View推論手法を定式化する。
本稿では,VLMと3次元基礎モデルを組み合わせたトレーニング不要なモデルに依存しない推論フレームワークであるVantageを提案する。
- 参考スコア（独自算出の注目度）: 69.49166727741544
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing approaches to multi-view spatial reasoning operate largely on sparse input views. Vision-language models (VLMs) are thus restricted to understand a scene and infer spatial relations within these fixed views, leading to fragile cross-view alignment and geometry-to-language bottleneck. To address these issues, we formulate a novel Seek-and-View reasoning approach to find implicit cross-view spatial evidence by locating a question-relevant view to support the spatial reasoning. To realize this approach, we propose Vantage, a training-free model-agnostic reasoning framework that pairs a VLM with a 3D foundation model: a viewpoint-grounded reasoning stage for question analysis and view planning, followed by a geometry-grounded evidence augmentation stage to effectively synthesize and incorporate visual evidence into the final reasoning. Comprehensive experiments on six VLMs demonstrate consistent improvements on five benchmarks without fine-tuning. Overall, by revealing spatial evidence through view-grounded reasoning, Vantage can largely reduce reliance on language-based cross-view alignment and improve multi-view spatial understanding. Our code is available at https://github.com/q1xiangchen/Vantage.
- Abstract（参考訳）: 多視点空間推論への既存のアプローチは、主にスパース入力ビューで動作する。
したがって、視覚言語モデル(VLM)は、シーンを理解し、これらの固定されたビュー内の空間的関係を推測するために制限され、脆弱なクロスビューアライメントと幾何学的言語間ボトルネックをもたらす。
これらの問題に対処するため,空間的推論を支援するために質問関連ビューを配置することにより,暗黙的な空間的証拠を見つけるための新しいSeek-and-View推論手法を定式化した。
このアプローチを実現するために,Vantageは,VLMと3次元基礎モデルを組み合わせた学習自由モデルに依存しない推論フレームワークである。
6つのVLMの総合的な実験は、微調整なしで5つのベンチマークで一貫した改善を示す。
全体として、ビューグラウンドの推論を通じて空間的証拠を明らかにすることで、Vantageは言語に基づくクロスビューアライメントへの依存を大幅に減らし、マルチビューの空間的理解を改善することができる。
私たちのコードはhttps://github.com/q1xiangchen/Vantage.comから入手可能です。
関連論文リスト
- CVSBench: A Comprehensive Benchmark for Cross-view Spatial Reasoning and Dreaming [13.534076118011603]
CVSBenchは、衛星とストリートのペアによる空間的推論を評価するための大規模なベンチマークである。
このベンチマークは、クロスビューVQA、クロスビューグラウンド、視点識別など、複数のタスクをサポートする。
言語のみの推論は,視覚空間の想像力を3次元シーンの想像パイプラインに組み込むことで,視線間の推論を大幅に改善する一方で,限界的な改善をもたらすことを示した。
論文 参考訳（メタデータ） (2026-06-21T12:35:43Z) - VIEW2SPACE: Studying Multi-View Visual Reasoning from Sparse Observations [47.94531550391802]
多視点視覚推論は、スパースと離散的な視点から複雑な環境を理解する必要があるインテリジェントシステムにとって不可欠である。
現実のシナリオでは、ビュー間の推論は、明示的なガイダンスなしで部分的な観察を統合する必要がある。
我々は物理基底シミュレーションを利用して、ビュー毎の正確なメタデータを持つ多種多様な高忠実な3Dシーンを構築する。
論文 参考訳（メタデータ） (2026-03-17T13:36:30Z) - 3ViewSense: Spatial and Mental Perspective Reasoning from Orthographic Views in Vision-Language Models [16.924616915709123]
視覚言語モデルは、2次元の観察からコヒーレントな3次元の心的表現を構築することができない。
オーソグラフィビューにおける空間推論の基盤となるフレームワークである textbf3ViewSense を紹介する。
空間的推論ベンチマークによる実験結果から,提案手法が既存のベースラインを著しく上回ることを示す。
論文 参考訳（メタデータ） (2026-03-08T17:57:56Z) - Reasoning Path and Latent State Analysis for Multi-view Visual Spatial Reasoning: A Cognitive Science Perspective [17.592210658831902]
空間推論は、人間の知性の中核的な側面であり、3D環境における知覚、推論、計画を可能にする。
現在の視覚言語モデル(VLM)は、多視点設定における空間的推論のための幾何学的コヒーレンスとクロスビュー整合性を維持するのに苦労している。
本稿では,VLMが相補的な視点で空間的メンタルモデルを構築し,調整し,維持する方法を評価するための,認知的基盤を持つベンチマークであるReMindView-Benchを紹介する。
論文 参考訳（メタデータ） (2025-12-02T02:21:29Z) - Multimodal Spatial Reasoning in the Large Model Era: A Survey and Benchmarks [108.15756345836901]
大規模モデルを用いたマルチモーダル空間推論タスクの包括的レビューを行う。
我々は、視覚言語ナビゲーションやアクションモデルを含む、具体的AIの進歩についてレビューする。
我々は,新しいセンサによる空間的理解に寄与する音声やエゴセントリックビデオなどの新たなモダリティを考察する。
論文 参考訳（メタデータ） (2025-10-29T17:55:43Z) - ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models [68.46716645478661]
視覚言語モデル (VLM) は視覚的内容の理解と推論において顕著な能力を示した。
現在のVLMは、主に自我中心の空間的推論(カメラの観点から)に優れるが、同中心の視点に一般化することができない。
マルチ視点空間位置認識評価に特化して設計された,初の総合的なベンチマークであるViewSpatial-Benchを紹介する。
論文 参考訳（メタデータ） (2025-05-27T17:59:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。