SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning
Abstractの概要
本論文は、ツール拡張エージェントのアクションインターフェースがオープンエンドな空間推論にどのように影響するかを調査している。1回限りのコード実行や固定化された構造化ツール呼び出しに依存するのではなく、VLMベースのエージェントが永続的なカーネル内でPythonコードを段階的に記述・実行する、トレーニング不要のフレームワーク「SpatialClaw」を提案する。このワークスペースは、マスク、深度マップ、再構成、視覚化などの中間状態をターンの間で保持できるため、エージェントは結果を検査し、分析を修正することができる。提案されたフレームワークは、QwenおよびGemmaファミリの6つのVLMバックボーンを使用し、単一画像、マルチビュー、ビデオ、および3D/4Dの空間推論タスクをカバーする20のベンチマークで評価されている。
新規性
本論文の主な新規性は、永続的なPythonワークスペース内での反復的なセル実行として実装し、コード自体を空間推論エージェントのアクションインターフェースとして再構築した点にある。これにより、空間証拠の中間状態の保持、構成、検査、修正に重きを置くことができ、従来の単一パスのコードシステムや構造化ツール呼び出しエージェントとの明確な差別化を図っている。
成果
20のベンチマーク全体で、SpatialClawは平均59.9%の精度を達成し、最近の空間エージェントのベースラインを平均で11.2パーセントポイント上回った。報告された性能向上は動的な4Dビデオ推論およびマルチビュータスクで最も著しく、ベンチマークやモデルに特化した適応を行わなくても、6つのバックボーンモデル全体で一貫した結果を示している。
論文の注目点
- SpatialClawは永続的なPythonカーネルを使用しており、エージェントは中間変数と視覚的フィードバックを再利用しながら、複数ステップにわたって知覚ツールや科学ライブラリを組み合わせることができる。
- この手法は、単一画像、マルチビュー、一般的な空間、ビデオ空間/4D、および一般的なビデオ理解タスクにまたがる20のベンチマークを通じて広く評価されている。
- アブレーションおよびインターフェースの比較により、アクションインターフェースの設計自体がパフォーマンスに大きく貢献しており、構造化されたツール呼び出しや単一パスのコード実行に対して優位性があることが示されている。
参考リンク
- arXiv: https://arxiv.org/abs/2606.13673v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2606.13673v1
- Hugging Face Papers: https://huggingface.co/papers/2606.13673