Fugu-MT 論文翻訳(概要): RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild

論文の概要: RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild

arxiv url: http://arxiv.org/abs/2611.02497v1
Date: Mon, 02 Nov 2026 04:16:47 GMT
ステータス: 情報取得中
システム内更新日: 2026-11-03 19:28:00.098664
Title: RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild
Title（参考訳）: RoboColosseum: 大規模In-The-Wildにおける物理インテリジェンスの評価
Abstract要約: 汎用ロボットポリシーは、ロボット、タスク、環境にまたがって機能する必要があるが、物理的な試行を情報化するためのバリエーションは、再現を困難にしている。本稿では,ロボコロッセウム(RoboColosseum)を紹介し,ロボコロッセウム(RoboColosseum)について紹介する。最初の研究は、視覚言語アクション(VLA)の5つのポリシーと、4つの実施形態にわたる3つのフロンティアAIエージェントを評価した。
参考スコア（独自算出の注目度）: 31.30821128885157
License:
Abstract: General-purpose robot policies must work across robots, tasks, and environments, yet the variation that makes physical trials informative also makes them difficult to reproduce. We introduce RoboColosseum, a distributed evaluation framework that combines unified policy serving and standardized protocols across a network of locally operated robots in diverse environments. Our initial study evaluates five vision-language-action (VLA) policies and three frontier AI agents across four embodiments (SO-101, Franka, Bimanual-YAM, and G1 Humanoid). The Open Track compares models without task-specific adaptation in blinded, pairwise trials under matched local conditions. The Fine-tune Track measures how well VLA policies adapt to 20 tasks across all four embodiments when each policy receives the same 100 demonstrations per task. Across 5,699 pairwise Open Track comparisons at 124 sites, frontier agents rival specialized VLA policies, while all systems struggle to complete open-world tasks reliably. After fine-tuning, GR00T N1.7 leads on SO-101 and pi0.5 leads on Franka and Bimanual-YAM. Policy rankings show weak agreement across embodiment-specific task suites (Kendall W = 0.24). Open Track rankings poorly predict relative performance after fine-tuning, with substantial rank reversals on all three embodiments shared between tracks. Measuring partial progress reveals differences that task success alone misses. On the G1 Humanoid, no policy completes any of the five tasks, yet average progress ranges from 13.3% to 23.2% across policies. Open Track rankings stabilize as trials accumulate, and active matchmaking achieves comparable ranking agreement with substantially fewer physical trials than uniform sampling. These results show how distributed physical evaluation can reveal where robot policies generalize, how well they adapt to new tasks, and how far they progress on tasks they fail to complete.
Abstract（参考訳）: 汎用ロボットポリシーは、ロボット、タスク、環境にまたがって機能する必要があるが、物理的な試行を情報化するバリエーションは、再現を困難にしている。多様な環境下で、ローカルに運用されているロボットのネットワークに統一されたポリシーサービスと標準化されたプロトコルを組み合わせる分散評価フレームワークであるRoboColosseumを紹介する。最初の研究は、4つの実施形態(SO-101, Franka, Bimanual-YAM, G1 Humanoid)にまたがる5つの視覚言語アクション(VLA)ポリシーと3つのフロンティアAIエージェントを評価した。 Open Trackは、タスク固有の適応のないモデルを、マッチしたローカル条件下で盲目でペアの試行で比較する。 Fine-Tune Trackは、各ポリシーがタスク毎に同じ100のデモを受けるとき、VLAポリシーが4つの実施形態の20のタスクにどの程度順応するかを測定する。 124のサイトでの5,699対のOpen Trackの比較では、フロンティアエージェントが特別なVLAポリシーと競合する一方で、すべてのシステムがオープンワールドタスクを確実に完了するのに苦労している。微調整後、GR00T N1.7はSO-101、pi0.5はFrankaとBimanual-YAMをリードする。政策ランキングは、実施特化タスクスイート(Kendall W = 0.24)間で弱い一致を示している。オープントラックのランキングは、微調整後の相対的なパフォーマンスの予測が不十分であり、トラック間で共有される3つの実施形態の実質的な順位が逆転している。部分的な進捗の測定は、タスクの成功だけで失敗する違いを明らかにします。 G1ヒューマノイドでは、5つのタスクのうちどのタスクも完了しないが、平均的な進歩は13.3%から23.2%の範囲である。オープントラックランキングは、トライアルが蓄積するにつれて安定し、アクティブマッチメイキングは、一様サンプリングよりもかなり少ない物理トライアルで同等のランキング契約を達成している。これらの結果は、分散された物理的評価が、ロボットポリシーの一般化する場所、新しいタスクへの適応の度合い、完了に失敗したタスクの進捗の度合いを明らかにしている。

論文の概要: RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild

関連論文リスト