論文の概要: RoboArena: Distributed Real-World Evaluation of Generalist Robot Policies

• arxiv url: http://arxiv.org/abs/2506.18123v1
• Date: Sun, 22 Jun 2025 18:13:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.760504
• Title: RoboArena: Distributed Real-World Evaluation of Generalist Robot Policies
• Title（参考訳）: RoboArena: 汎用ロボット政策の分散実世界評価
• Abstract要約: 本稿では,実世界における汎用ロボットポリシーのスケーラブルな評価手法であるRoboArenaを提案する。 固定タスク,環境,場所に関する評価を標準化する代わりに,評価者の分散ネットワークにまたがるクラウドソース評価を提案する。 我々は、DROIDロボットプラットフォームを用いて、7つの学術機関における評価者のネットワークにアプローチをインスタンス化する。
• 参考スコア（独自算出の注目度）: 125.35572632340602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Comprehensive, unbiased, and comparable evaluation of modern generalist policies is uniquely challenging: existing approaches for robot benchmarking typically rely on heavy standardization, either by specifying fixed evaluation tasks and environments, or by hosting centralized ''robot challenges'', and do not readily scale to evaluating generalist policies across a broad range of tasks and environments. In this work, we propose RoboArena, a new approach for scalable evaluation of generalist robot policies in the real world. Instead of standardizing evaluations around fixed tasks, environments, or locations, we propose to crowd-source evaluations across a distributed network of evaluators. Importantly, evaluators can freely choose the tasks and environments they evaluate on, enabling easy scaling of diversity, but they are required to perform double-blind evaluations over pairs of policies. Then, by aggregating preference feedback from pairwise comparisons across diverse tasks and environments, we can derive a ranking of policies. We instantiate our approach across a network of evaluators at seven academic institutions using the DROID robot platform. Through more than 600 pairwise real-robot evaluation episodes across seven generalist policies, we demonstrate that our crowd-sourced approach can more accurately rank the performance of existing generalist policies than conventional, centralized evaluation approaches, while being more scalable, resilient, and trustworthy. We open our evaluation network to the community and hope that it can enable more accessible comparisons of generalist robot policies.
• Abstract（参考訳）: ロボットベンチマークの既存のアプローチは、通常、固定された評価タスクと環境を指定するか、集中型の'ロボットチャレンジ'をホストするか、広範囲のタスクと環境にまたがってジェネラリストポリシーを評価するために容易にスケールできないような、重い標準化に依存している。 本研究では,実世界における汎用ロボットポリシーのスケーラブルな評価手法であるRoboArenaを提案する。 固定タスクや環境,場所に関する評価を標準化する代わりに,評価者の分散ネットワークにまたがるクラウドソース評価を提案する。 重要なことは、評価者は評価対象のタスクや環境を自由に選択でき、多様性のスケーリングが容易になる。 そして、様々なタスクと環境のペアワイズ比較から好みのフィードバックを集約することで、ポリシーのランク付けを導き出すことができる。 我々は、DROIDロボットプラットフォームを用いて、7つの学術機関における評価者のネットワークにアプローチをインスタンス化する。 7つのジェネラリスト政策をまたいだ600以上のペアワイズ実ロボット評価エピソードを通じて、我々のクラウドソースアプローチは、従来型の集中型評価アプローチよりも、既存のジェネラリストポリシーのパフォーマンスをより正確にランク付けし、よりスケーラブルで弾力性があり、信頼性が高いことを実証する。 我々は、評価ネットワークをコミュニティに開放し、汎用ロボットポリシーのよりアクセスしやすい比較を可能にすることを期待する。

関連論文リスト

• Active Real-World Factor-Based Evaluation for Generalist Robot Policies [13.386170952445868]
  汎用的なロボット操作ポリシーは、幅広いタスクで顕著な可能性を示してきた。 本稿では,政策評価を逐次実験設計問題として扱う能動的評価フレームワークを提案する。 3つの要因の異なる3つのタスクにまたがって2331の現実的評価を行い、我々のアプローチは一般的に少なくとも20～40%の試行を省く。
  論文  参考訳（メタデータ） (2026-07-16T00:21:54Z)
• RoboDojo: A Unified Sim-and-Real Benchmark for Comprehensive Evaluation of Generalist Robot Manipulation Policies [121.35821705538768]
  汎用的なロボット操作ポリシーは急速に進歩しているが、既存のベンチマークは、その能力を体系的に評価することに制限されている。 本稿では,汎用ロボット操作ポリシーの総合的な評価のための統一型sim-and-realベンチマークであるRoboDojoを紹介する。 RoboDojoには42のシミュレーションタスクと18の現実世界タスクが含まれており、多様な補完的な操作機能を備えている。
  論文  参考訳（メタデータ） (2026-07-05T17:58:02Z)
• GigaWorld-1: A Roadmap to Build World Models for Robot Policy Evaluation [73.02743604295246]
  WMBenchは、実際のロボット遠隔操作データとポリシーのロールアウトから構築されたベンチマークである。 7つのビデオワールドモデル,4つのアクション表現スキーム,および実際のロボット実行と組み合わせた324,000以上のシミュレートされたポリシーロールアウトを分析した。 評価者の品質は、短期的な視覚的リアリズムよりも、長期的な、行動に忠実なロールアウト一貫性に支配されている。
  論文  参考訳（メタデータ） (2026-07-02T17:02:43Z)
• HumanoidArena: Benchmarking Egocentric Hierarchical Whole-body Learning [38.43380992093738]
  我々は,自己中心型階層型全身学習のためのシミュレーションファーストベンチマークであるHumanoidArenaを紹介する。 高レベルのポリシーは、エゴセントリックなビジョン、プロプレセプション、命令をコンパクトな全身アクションに変換し、その後低レベルのGMTによって実行される。 実験により、階層制御により、学習したポリシーが多様な脚クリティカルな相互作用を解決できることが示されているが、性能はトラッカー条件が強く、GMT間移動は脆弱である。
  論文  参考訳（メタデータ） (2026-06-16T12:01:31Z)
• PolaRiS: Scalable Real-to-Sim Evaluations for Generalist Robot Policies [88.78188489161028]
  シミュレーションにおける政策評価と環境復元(PolaRiS)の導入 PolaRiSは、高忠実度シミュレーションロボット評価のためのスケーラブルなリアルタイム・シミュレート・フレームワークである。 PolaRiSの評価は,既存のシミュレーションベンチマークよりも,現実のジェネラリストのポリシー性能に強い相関関係があることが示されている。
  論文  参考訳（メタデータ） (2025-12-18T18:49:41Z)
• Evaluating Gemini Robotics Policies in a Veo World Simulator [69.23071832313246]
  我々はフロンティアビデオ基盤モデル(Veo)に基づく生成的評価システムを導入する。 このシステムは、ロボットアクションコンディショニングとマルチビュー一貫性をサポートするよう最適化されている。 我々は、Gemini Roboticsのポリシーチェックポイント8つと、バイマニュアルマニピュレータのための5つのタスクの1600以上の実世界の評価を通じて、これらの能力を検証した。
  論文  参考訳（メタデータ） (2025-12-11T14:22:14Z)
• RobotArena $\infty$: Scalable Robot Benchmarking via Real-to-Sim Translation [47.79800816696372]
  操作ポリシーの現実的なテストは、大規模に労働集約的で、再現が難しい。 既存のシミュレーションベンチマークも同様に制限されており、同じ合成ドメイン内でポリシーをトレーニングおよびテストしている。 本稿では,VLA評価を大規模にシミュレーションした拡張環境に移行することで,これらの課題を克服する新しいベンチマークフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-27T17:41:38Z)
• Developing A Framework to Support Human Evaluation of Bias in Generated Free Response Text [8.41305848182636]
  本稿では,自由テキスト応答のための半自動バイアス評価フレームワークの開発に向けての道程について述べる。 我々は、パイプラインの自動化を支援するバイアスの運用定義と、複数の選択を越えてバイアスを分類する方法論をどのように開発したかについて議論した。
  論文  参考訳（メタデータ） (2025-05-05T22:26:55Z)
• AutoEval: Autonomous Evaluation of Generalist Robot Manipulation Policies in the Real World [45.70178627573973]
  AutoEvalは、人間の介入を最小限に抑えて、時計周りのロボットポリシーを自律的に評価するシステムだ。 評価プロセスにおいて,AutoEvalは人間の関与をほぼ完全に排除できることを示す。 We provide public access to multiple AutoEval scene in the popular BridgeData robot set with WidowX robot arms。
  論文  参考訳（メタデータ） (2025-03-31T16:23:44Z)
• CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
  textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。 CompassJudger-1は、優れた汎用性を示す汎用LLMである。 textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-10-21T17:56:51Z)
• Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance [66.51390591688802]
  バリューガイド型ポリシーステアリング(V-GPS)は、ポリシーの重みを微調整したり、アクセスしたりすることなく、幅広い種類のジェネラリストポリシーと互換性がある。 同じ値関数は、異なるアーキテクチャで5つの最先端ポリシーの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:46:26Z)
• Evaluating Real-World Robot Manipulation Policies in Simulation [91.55267186958892]
  実環境と模擬環境の制御と視覚的格差は、信頼性のある模擬評価の鍵となる課題である。 実環境に完全忠実なデジタル双生児を作らなくても、これらのギャップを軽減できる手法を提案する。 シミュレーション環境の集合体であるSIMPLERを作成した。
  論文  参考訳（メタデータ） (2024-05-09T17:30:16Z)
• How Generalizable Is My Behavior Cloning Policy? A Statistical Approach to Trustworthy Performance Evaluation [17.638831964639834]
  行動クローニングポリシーは、人間のデモンストレーションから学ぶことで複雑なタスクを解決することに成功している。 本稿では,任意の環境下でのロボット性能について,より低バウンドなフレームワークを提案する。 実験では,シミュレーションとハードウェアの両方におけるビジュモータ操作のポリシーを評価する。
  論文  参考訳（メタデータ） (2024-05-08T22:00:35Z)
• Evaluating Agents using Social Choice Theory [20.58298173034909]
  我々は、投票理論のレンズを通して、多くの一般的な評価問題を見ることができると論じる。 各タスクは別個の投票者として解釈され、全体的な評価を得るためには、通常のランク付けやエージェントのペア比較しか必要としない。 これらの評価は解釈可能で柔軟性があり、現在クロスタスク評価に直面している多くの問題を回避している。
  論文  参考訳（メタデータ） (2023-12-05T20:40:37Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。