S-Agent 2.0: Spatial Reasoning with a General Coding Agent
Abstractの概要
S-Agent 2.0は、既存の汎用コーディングエージェントにコマンドライン認識ツールキットを装備して構築された空間推論システムです。本論文では、従来の自律型視覚言語システムが正確な幾何学的証拠を取得していても、取得・記憶・解釈が緊密に連携していないために正しい結論へ導けないことが多いと指摘しています。これに対処するため、本ツールキットは観測結果を永続的なシーンメモリに保存し、ツール由来とモデル由来のインスタンスが同一の幾何学的表現を共有できるようにし、さらに測定値を平易な言語による空間的解釈とともに出力することで証拠ループを完結させます。このアプローチは汎用コーディングエージェントの柔軟性を維持しつつ推論を幾何情報に接地させており、マルチビューおよび動画の空間推論ベンチマークで評価されています。
新規性
本研究の際立った貢献は、空間推論を「証拠ループ」の課題として再定義し、特化した空間用ハーネスではなく標準的な汎用コーディングエージェントを通じて実装した点にあります。方法論的には、永続的シーンメモリ、モデルとツール双方による知覚書き込みアクセス、空間言語による回答可能な解釈済み読み出しを組み合わせたインターフェース設計に新規性があります。
成果
MMSI-BenchおよびReVSIにおいて、本ツールキットはツールなしの同一エージェントに対し、Qwen3.8-27Bで+13.9および+20.5ポイント、Gemini-3.8-Flashで+11.2および+9.6ポイントの性能向上を達成しました。ツールを装備したS-Agent 2.0はQwen3.8-27BでMMSI-Bench 66.5、ReVSI 82.3を記録して同一バックボーンのSpatialClawを上回り、Gemini-3.8-Flashではそれぞれ74.1と90.5に達しました。アブレーション実験では、モデル知覚インターフェース、シーンメモリ、解釈済み読み出しのいずれの除去も性能を低下させ、特にモデル知覚インターフェースの除去が最大の低下要因となることが示されました。
論文の注目点
- S-Agent 2.0は、特化した空間推論ハーネスに依存せず、標準的な汎用コーディングエージェントにコマンドライン認識ツールキットを装備している。
- 永続的シーンメモリ、ツールとモデル知覚の共有幾何グラウンディング、平易な言語による解釈済み読み出しを統合して証拠ループを完結させている。
- マルチビューおよび動画の空間推論ベンチマークでSpatialClawなどの特化型ベースラインを上回り、OpenHands、Codex、Claude Codeなどの各種コーディング環境にも移植可能である。
参考リンク
- arXiv: https://arxiv.org/abs/2610.28354v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2610.28354v1
- Hugging Face Papers: https://huggingface.co/papers/2610.28354
- Project: https://ropedia.github.io/S-Agent-2.0