論文の概要: R2S-Eval: Robot Evaluation with Real-to-Sim Calibration via Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.03276v1
• Date: Thu, 03 Sep 2026 02:08:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:38.894273
• Title: R2S-Eval: Robot Evaluation with Real-to-Sim Calibration via Vision-Language Models
• Title（参考訳）: R2S-Eval:視覚言語モデルによる実時間校正によるロボット評価
• Abstract要約: R2S-Evalは、リアル・ツー・シミュレート・キャリブレーションと視覚言語モデル(VLM)の嗜好評価を組み合わせた評価パイプラインである。 信頼性が高く安定したポリシーの結論を導き、人間の好みとの一致を達成し、繰り返しハードウェア操作の労力を大幅に削減し、バイナリ成功ラベルによって捉えられない行動品質の違いを明らかにする。
• 参考スコア（独自算出の注目度）: 12.45799943639499
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating robot manipulation policies is becoming increasingly important as generalist models, particularly vision-language-action (VLA) models, are deployed on physical robots. However, conventional real-world evaluation remains labor-intensive, unstable, and insufficiently informative. It requires repeated hardware trials, manual scene resets, and continuous operator monitoring, may produce different policy rankings across repeated evaluations, and primarily relies on success-rate metrics that provide limited information about execution quality. In contrast, humans assess robot performance by observing and comparing complete behaviors rather than relying solely on binary success outcomes. To this end, we propose R2S-Eval, an evaluation pipeline that combines real-to-sim calibration with vision-language model (VLM) preference evaluation. The real-to-sim component efficiently generates rollout videos in a simulator calibrated to the real-world evaluation setting, thereby reducing the need for repeated hardware trials. The VLM evaluator assesses the execution quality of rollout videos and produces pairwise preferences, which are subsequently aggregated into policy rankings. We further introduce a protocol to assess whether the proposed evaluation pipeline yields validated policy conclusions while mitigating the key challenges of conventional real-world evaluation. Experiments in both simulation and real-world settings demonstrate that R2S-Eval produces reliable and stable policy conclusions, achieves agreement with human preferences, substantially reduces repeated hardware-operation effort, and reveals behavior-quality differences that are not captured by binary success labels. In general, R2S-Eval advances robot evaluation from manual success counting toward automated, statistically stable, and quality-aware evaluation of robot behavior. Project page: https://r2s-eval.github.io.
• Abstract（参考訳）: 汎用モデル、特に視覚言語アクション(VLA)モデルが物理ロボットにデプロイされるにつれて、ロボット操作ポリシーの評価がますます重要になっている。 しかし、従来の実世界の評価は労働集約的で不安定で、不十分な情報に乏しいままである。 繰り返しハードウェアの試行、手動のシーンリセット、継続的なオペレーターの監視が必要であり、繰り返し評価にまたがって異なるポリシーのランキングを作成でき、主に実行品質に関する限られた情報を提供する成功率の指標に依存する。 対照的に、人間は二進的な成功結果にのみ依存するのではなく、完全な行動を観察し、比較することで、ロボットのパフォーマンスを評価する。 そこで本研究では,リアルタイムキャリブレーションと視覚言語モデル(VLM)の嗜好評価を組み合わせた評価パイプラインR2S-Evalを提案する。 リアル・トゥ・シム・コンポーネントは、実世界の評価設定に合わせて調整されたシミュレータにおけるロールアウト映像を効率よく生成し、繰り返しハードウェア・トライアルの必要性を低減させる。 VLM評価器は、ロールアウトビデオの実行品質を評価し、ペアの選好を生成し、その後ポリシーランキングに集約する。 さらに,提案した評価パイプラインが従来の実世界評価の重要な課題を緩和しつつ,検証済みの政策結論を導出するかどうかを評価するためのプロトコルを導入する。 R2S-Evalは、シミュレーションと実世界の両方の環境で実験を行い、信頼性と安定したポリシーの結論を導き、人間の好みとの一致を実現し、繰り返しハードウェア操作の労力を大幅に削減し、バイナリ成功ラベルによって捉えられていない行動品質の違いを明らかにする。 一般に、R2S-Evalは、自動的、統計的に安定し、品質に配慮したロボット行動の評価に向けて、手動による成功数からロボット評価を推し進める。 プロジェクトページ: https://r2s-eval.github.io

関連論文リスト

• GigaWorld-1: A Roadmap to Build World Models for Robot Policy Evaluation [73.02743604295246]
  WMBenchは、実際のロボット遠隔操作データとポリシーのロールアウトから構築されたベンチマークである。 7つのビデオワールドモデル,4つのアクション表現スキーム,および実際のロボット実行と組み合わせた324,000以上のシミュレートされたポリシーロールアウトを分析した。 評価者の品質は、短期的な視覚的リアリズムよりも、長期的な、行動に忠実なロールアウト一貫性に支配されている。
  論文  参考訳（メタデータ） (2026-07-02T17:02:43Z)
• R2HandoverSim: A Simulation Framework and Benchmark for Robot-to-Human Object Handovers [0.0]
  R2HandoverSimは、ロボット対人間(R2H)オブジェクトハンドオーバのシミュレーションベンチマークである。 提案手法は,予測された共有グリップポーズの4つのベースラインを比較し,再現性の評価を可能にする。
  論文  参考訳（メタデータ） (2026-06-19T00:48:06Z)
• Rethinking Visual-Language-Action Model Scaling: Alignment, Mixture, and Regularization [65.37179698521766]
  VLA(Vision-Language-Action)モデルは、ジェネラリストロボットの制御を強く約束する。 標準的な「スケールデータ」レシピがロボット工学に翻訳されるかどうかはまだ不明だ。 本稿では,多様なロボットを対象とした事前学習のためのコアトレーニング選択を再考する,VLAスケーリングの体系的かつ制御された研究を提案する。
  論文  参考訳（メタデータ） (2026-02-10T12:25:43Z)
• Trustworthy Evaluation of Robotic Manipulation: A New Benchmark and AutoEval Methods [30.612032540735402]
  Eval-ActionsベンチマークとAutoEvalアーキテクチャを組み合わせたソリューションを提案する。 このデータセットは、Expert Grading(EG)、Rang-Guided preferences(RG)、Chain-of-Thought(CoT)の3つのコア監視信号を中心に構成されている。 AutoEval は EG プロトコルと RG プロトコルでそれぞれ 0.81 と 0.84 のSpearman's Rank correlation Coefficients (SRCC) を達成している。
  論文  参考訳（メタデータ） (2026-01-26T17:47:42Z)
• PolaRiS: Scalable Real-to-Sim Evaluations for Generalist Robot Policies [88.78188489161028]
  シミュレーションにおける政策評価と環境復元(PolaRiS)の導入 PolaRiSは、高忠実度シミュレーションロボット評価のためのスケーラブルなリアルタイム・シミュレート・フレームワークである。 PolaRiSの評価は,既存のシミュレーションベンチマークよりも,現実のジェネラリストのポリシー性能に強い相関関係があることが示されている。
  論文  参考訳（メタデータ） (2025-12-18T18:49:41Z)
• Gesture Generation (Still) Needs Improved Human Evaluation Practices: Insights from a Community-Driven State-of-the-Art Benchmark [55.41250396114216]
  音声認識による3Dジェスチャー生成における人的評価の実践について検討する。 本稿では,広範に使用されているBEAT2モーションキャプチャーデータセットの詳細な評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2025-11-03T05:17:28Z)
• RobotArena $\infty$: Scalable Robot Benchmarking via Real-to-Sim Translation [47.79800816696372]
  操作ポリシーの現実的なテストは、大規模に労働集約的で、再現が難しい。 既存のシミュレーションベンチマークも同様に制限されており、同じ合成ドメイン内でポリシーをトレーニングおよびテストしている。 本稿では,VLA評価を大規模にシミュレーションした拡張環境に移行することで,これらの課題を克服する新しいベンチマークフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-27T17:41:38Z)
• WorldGym: World Model as An Environment for Policy Evaluation [41.204900701616914]
  WorldGymは、実環境のプロキシとして機能する自動回帰、アクション条件付きビデオ生成モデルである。 ポリシーはモンテカルロの世界モデルによるロールアウトを通じて評価され、視覚言語モデルが報酬を提供する。 We show that WorldGym can maintain relative policy rankings across different policy version, sizes, and training checkpoints。
  論文  参考訳（メタデータ） (2025-05-31T15:51:56Z)
• AutoEval: Autonomous Evaluation of Generalist Robot Manipulation Policies in the Real World [45.70178627573973]
  AutoEvalは、人間の介入を最小限に抑えて、時計周りのロボットポリシーを自律的に評価するシステムだ。 評価プロセスにおいて,AutoEvalは人間の関与をほぼ完全に排除できることを示す。 We provide public access to multiple AutoEval scene in the popular BridgeData robot set with WidowX robot arms。
  論文  参考訳（メタデータ） (2025-03-31T16:23:44Z)
• WorldSimBench: Towards Video Generation Models as World Simulators [79.69709361730865]
  我々は、予測モデルの機能を階層に分類し、WorldSimBenchと呼ばれる2つの評価フレームワークを提案することにより、World Simulatorの評価の第一歩を踏み出す。 WorldSimBenchにはExplicit Perceptual EvaluationとImplicit Manipulative Evaluationが含まれている。 我々の総合的な評価は、ビデオ生成モデルのさらなる革新を促進する重要な洞察を与え、World Simulatorsをエンボディされた人工知能への重要な進歩と位置づけている。
  論文  参考訳（メタデータ） (2024-10-23T17:56:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。