HumanCLAW: Can Vision-Language Models Act Through a Body?
Abstractの概要
HumanCLAWは、視覚言語モデル（VLM）の出力がヒューマノイドの身体を通じて実行された場合に、効果的な身体的行動の意思決定が可能かどうかをテストするための評価フレームワークである。このフレームワークは、凍結された市販のVLMに原子的なスキルコマンドを発行させ、それを短い全身モーションに変換して、重力、衝突、物体との相互作用を伴うハーフ物理シミュレータで実行させることにより、高レベルな行動選択と低レベルな運動実行を分離している。このセットアップの上に、著者らは41の屋内シーンにわたる1,218の長期的な自己中心視点での「発見・ナビゲート・対話」エピソードからなるベンチマークであるHumanCLAW-Benchを構築した。この評価は、失敗の原因を運動の不安定さではなく主に意思決定に帰するように設計されており、段階的なタスクの成功、モーションの一貫性、身体認識、外乱、およびコストを測定する。テストされたモデル全体で、主な限界はターゲットが視界に入った後の認識ではなく、ナビゲーションおよび対話中における身体の状態と環境との関係の認識の維持であることがわかった。
新規性
本論文の主な新規性は、身体的行動を物理的に接地させつつ低レベルの制御の失敗を明示的に除外することで、運動ポリシーではなく身体を通じたVLMの意思決定の質を評価可能にする評価設定である。また、意思決定者を再トレーニングすることなく、凍結された汎用VLMを連続的なヒューマノイドの動きに接続するベンチマークとスキルベースの実行インターフェースも導入している。
成果
9つの最先端VLMを用いた実験では、ベンチマークを確実に解決できたモデルはなく、最も優れていたGemini-3.1でさえインタラクション成功率は16.8%、ナビゲーション成功率は42.4%であった。本研究により、ターゲットの認識は身体的な自己認識に比べて問題になりにくいことが判明した。モデルは、到達したかどうか、障害物に遮られているか、または座るために身体を適切に配置する方法についての判断にしばしば失敗する。さらにアブレーション実験から、閉ループ行動の成功にはスキル固有の検証器が不可欠である一方、長いテキスト履歴は限られた効果しかもたらさず、過剰な視覚履歴フレームはパフォーマンスを低下させる可能性があることが示された。
論文の注目点
- HumanCLAWは、VLMが発行する原子的スキルを、ハーフ物理シミュレータで実行される短い全身モーションにマッピングすることで、身体的行動の意思決定と低レベルの実行を分離する。
- HumanCLAW-Benchは、41の屋内シーンにわたる1,218の長期的な自己中心視点エピソードを含み、段階的な成功だけでなく、動作の質、衝突、外乱、および計算コストをも評価する。
- 9つのVLMにおいて、主要なボトルネックは認識ではなく身体的な自己認識であり、モデルはターゲットを視認できても、それに対する自身の身体の定位や最終的な相互作用の正しい実行にしばしば失敗する。
参考リンク
- arXiv: https://arxiv.org/abs/2607.27180v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2607.27180v1
- Hugging Face Papers: https://huggingface.co/papers/2607.27180
- Project: https://human-claw.github.io