EmbodiedLab: Benchmarking Embodied Agents That Act to Know
Abstractの概要
EmbodiedLabは、世界を単に事前定義された目標状態へと誘導するのではなく、必要な情報を発見するためにシステムと物理的に相互作用しなければならない身体性エージェントのためのベンチマークです。シミュレートされた実験室において、5つの学問領域と14の実験装置プラットフォームにわたる30の定量的科学実験を通じ、エージェントはロボットアームを制御し、カメラを介して計器を読み取り、独自の手順を考案します。提出された結果は、隠された再サンプリングパラメータに対する数値精度、引用された証拠がエピソード中に実際に記録されたか否か、および実験台が要求された状態に復元されたかどうかに基づいて採点されます。本論文では、知覚、計画、操作の支援度が異なる入れ子状のインターフェースレベルにわたり、各開発者のコーディングエージェントフレームワーク内で6つのフロンティア基盤モデルを評価しています。
新規性
本論文は、記号的なクエリや標準的な目標達成型の操作ではなく、物理的な実験や計器の読み取りを通じてタスク関連情報を能動的に発見しなければならない「知るための行動（acting to know）」のパラダイムを形式化しています。EmbodiedLabは、物理的動作、視覚的な計器観察、記録された証拠の検証、および実験台の片付け要件を、統一され解決可能な評価スイートへと緊密に結合させています。
成果
ネイティブな観察と制御（T0）において、評価された最も強力なエージェントでさえ成功率は50%未満にとどまり、Claude Opus 5.5が43.3%、GPT-6 Astraが40.0%を記録しました。特権的な知覚と動作計画（T1）の追加による成功率の改善はわずか1.7〜10.0ポイントにとどまった一方、抽出された操作スキル（T2）の提供は比較的性能の低いエージェントを10.0〜26.7ポイント向上させました。エラー分析により、失敗した試行の75%〜100%は取得データに対する分析的推論ではなく、物理的相互作用、観察、および実験台の復元に起因することが明らかになりました。
論文の注目点
- EmbodiedLabは、ロボットエージェントが自律的な物理的相互作用とカメラによる計器の読み取りを通じて隠されたパラメータを発見することを要求する、30種類の検証済み物理ベース実験室実験を導入している。
- 数値の正確さだけでなく、引用されたデータがエピソード中に実際に生成されたことや、装置が要求された実験台の状態に安全に復元されたかどうかも評価される。
- 実験結果は、信頼性の高い物理的相互作用と装置の取り扱いがフロンティアコーディングエージェントにとって主要なボトルネックであり、高度な科学的推論の限界を上回る課題であることを示している。
参考リンク
- arXiv: https://arxiv.org/abs/2610.35385v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2610.35385v1
- Hugging Face Papers: https://huggingface.co/papers/2610.35385
- GitHub: https://github.com/HexaFuture/EmbodiedLab
- Project: https://hexafuture.ai/benchmarks/embodiedlab/