S-Agent: Spatial Tool-Use Elicits Reasoning for Spatial Intelligence
Abstractの概要
S-Agentは、単一のフレームではなく、連続したマルチビュー画像や動画に対する推論を行うために設計された空間的ツール使用フレームワークである。本フレームワークは視覚言語モデルを必要な証拠を決定するセマンティックプランナーとして扱う一方で、ツールの階層構造を利用してオブジェクトの2Dグラウンディング、観測結果の3D幾何学的証拠への引き上げ、そしてこれらのデータを測定値や相対位置などのより高次な空間知識へと集約する。さらに、S-AgentはScene MemoryとAgent Memoryという2種類の時間的メモリを維持してシーンの状態と推論履歴を保存し、トレーニング不要の推論フレームワークとしてだけでなく、より小さなモデルをファインチューニングするための軌跡エージェントとしても機能する。
新規性
本フレームワークは、状態を持たないフレーム単位の予測に依存するのではなく、動画やマルチビューの空間推論を、明示的なツールの使用と永続的なメモリを伴う時空間的な証拠の蓄積として定式化している点で際立っている。さらに、この複雑な推論時のフレームワークを蒸留してS-300K軌跡データセットを作成し、よりコンパクトな空間エージェントを効率的に訓練するという手法も革新的である。
成果
ゼロショット評価において、S-Agentは強力なVLMの性能を一貫して向上させ、MMSI-Benchで46.4%、ViewSpatial-Benchで60.0%、ReVSIで58.8%を達成した。注目すべき点として、MMSI-BenchでGPT-5.4を4.5%、ViewSpatial-Benchで14.4%上回っている。また、生成された軌跡をS-Agent-8Bに蒸留することで、Qwen3-VL-8BのベースラインがMMSI-Benchにおいて31.1%から41.6%へと大幅に向上し、極めて競争力の高いコンパクトな空間エージェントとしての実力を証明した。
論文の注目点
- S-Agentは、2Dグラウンディング、3D幾何学的な引き上げ、専門家ベースの空間的集約という3層のツール階層構造を用いることで、セマンティックな計画立案と証拠の取得を分離している。
- Scene MemoryとAgent Memoryからなるデュアルメモリシステムにより、永続的な空間的証拠と推論履歴が保存され、視点や推論ステップをまたいだステートフルな空間推論が可能になる。
- 包括的なアブレーション研究により、専門家を介した3D証拠と両方のメモリモジュールが成功に不可欠であることが確認され、蒸留実験により生成された軌跡が堅牢でコンパクトな8Bモデの訓練に成功することが証明された。
参考リンク
- arXiv: https://arxiv.org/abs/2606.20515v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2606.20515v1
- Hugging Face Papers: https://huggingface.co/papers/2606.20515
- Project: https://Ropedia.github.io/S-Agent