論文の概要: Reliable and Scalable Robot Policy Evaluation with Imperfect Simulators

• arxiv url: http://arxiv.org/abs/2510.04354v1
• Date: Sun, 05 Oct 2025 20:37:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.600883
• Title: Reliable and Scalable Robot Policy Evaluation with Imperfect Simulators
• Title（参考訳）: 不完全なシミュレータによる信頼性・スケーラブルなロボット政策評価
• Abstract要約: SureSimは、比較的小さな実世界のテストで大規模なシミュレーションを強化するためのフレームワークである。 我々は,非漸近平均推定アルゴリズムを利用して,平均政策性能に対する信頼区間を提供する。 当社のアプローチは,同様のポリシ性能の限界を達成するため,ハードウェア評価作業の20～25%以上を節約する。
• 参考スコア（独自算出の注目度）: 9.868826622074899
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rapid progress in imitation learning, foundation models, and large-scale datasets has led to robot manipulation policies that generalize to a wide-range of tasks and environments. However, rigorous evaluation of these policies remains a challenge. Typically in practice, robot policies are often evaluated on a small number of hardware trials without any statistical assurances. We present SureSim, a framework to augment large-scale simulation with relatively small-scale real-world testing to provide reliable inferences on the real-world performance of a policy. Our key idea is to formalize the problem of combining real and simulation evaluations as a prediction-powered inference problem, in which a small number of paired real and simulation evaluations are used to rectify bias in large-scale simulation. We then leverage non-asymptotic mean estimation algorithms to provide confidence intervals on mean policy performance. Using physics-based simulation, we evaluate both diffusion policy and multi-task fine-tuned \(\pi_0\) on a joint distribution of objects and initial conditions, and find that our approach saves over \(20-25\%\) of hardware evaluation effort to achieve similar bounds on policy performance.
• Abstract（参考訳）: 模倣学習、基礎モデル、大規模データセットの急速な進歩は、幅広いタスクや環境に一般化するロボット操作ポリシーにつながった。 しかし、これらの政策の厳格な評価は依然として課題である。 通常、実際のロボットポリシーは、統計的な保証なしに少数のハードウェアトライアルで評価されることが多い。 本稿では,比較的小規模な実世界テストによる大規模シミュレーションを向上するフレームワークであるSureSimについて述べる。 我々のキーとなる考え方は、大規模シミュレーションにおけるバイアスの是正に少数のペア実数とシミュレーション評価を用いる予測駆動推論問題として、実数とシミュレーション評価を組み合わせることの問題を定式化することである。 次に,非漸近平均推定アルゴリズムを活用し,平均政策性能に対する信頼区間を提供する。 物理シミュレーションを用いて,対象物と初期条件の連立分布上での拡散ポリシとマルチタスク微調整 \(\pi_0\) の両面を評価した結果,本手法は,類似の条件を満たすため,ハードウェア評価作業の \(20-25\%\) 以上を節約できることがわかった。

関連論文リスト

• SCAPE: Scenario-Conditioned Simulation-Augmented Policy Evaluation [18.546902084606632]
  SCAPEはシナリオ条件付きシミュレーション拡張ポリシー評価フレームワークである。 制限付きsim-and-realサンプルと大規模シミュレーションロールアウトを用いて,シナリオ条件付き実世界のポリシー性能を予測する。 自動走行と4倍速追尾におけるSCAPEの有効性を検証した。
  論文  参考訳（メタデータ） (2026-08-19T20:24:29Z)
• RoboDojo: A Unified Sim-and-Real Benchmark for Comprehensive Evaluation of Generalist Robot Manipulation Policies [121.35821705538768]
  汎用的なロボット操作ポリシーは急速に進歩しているが、既存のベンチマークは、その能力を体系的に評価することに制限されている。 本稿では,汎用ロボット操作ポリシーの総合的な評価のための統一型sim-and-realベンチマークであるRoboDojoを紹介する。 RoboDojoには42のシミュレーションタスクと18の現実世界タスクが含まれており、多様な補完的な操作機能を備えている。
  論文  参考訳（メタデータ） (2026-07-05T17:58:02Z)
• A Practical Recipe Towards Improving Sim-and-Real Correlation for VLA Evaluation [13.439555106885491]
  シミュレーション評価は,政策ランキングの整合性,性能相関,摂動障害パターンの観点から,現実の結論を保っているかを検討する。 この分析により,既存のシミュレータの限界を特徴付けることができ,シミュレーション信号が現実世界の配置とより整合しているかを特定することができる。
  論文  参考訳（メタデータ） (2026-06-09T03:25:02Z)
• Toward Visually Realistic Simulation: A Benchmark for Evaluating Robot Manipulation in Simulation [62.51953630639423]
  既存のベンチマークには視覚的リアリズムがなく、シミュレーションと現実の間に大きな領域ギャップが生じる。 シミュレーションにおけるロボット操作評価のための,視覚的にリアルなベンチマークであるVISERを提案する。 VISERは、物理ベースのレンダリング(PBR)素材を備えた1000以上の3Dアセットの高忠実度データセットと、それらのアセットから作成される3Dシーンを、レイアウトや生成によって構成する。
  論文  参考訳（メタデータ） (2026-05-07T14:13:05Z)
• Sim2Act: Robust Simulation-to-Decision Learning via Adversarial Calibration and Group-Relative Perturbation [54.29523408543184]
  シミュレーションと意思決定の学習は、現実世界の展開を危険にさらすことなく、デジタル環境で安全なポリシートレーニングを可能にする。 既存のアプローチでは、平均的なシミュレーションの忠実さを改善するか、保守的な正規化を採用するかに重点を置いている。 提案するSim2Actは,シミュレータとポリシーのロバスト性の両方に対処するロバストなシミュレーション・トゥ・意思決定フレームワークである。
  論文  参考訳（メタデータ） (2026-03-10T00:51:47Z)
• ARTIS: Agentic Risk-Aware Test-Time Scaling via Iterative Simulation [72.78362530982109]
  ARTIS(Agenic Risk-Aware Test-Time Scaling via Iterative Simulation)は、コミットメントから探索を分離するフレームワークである。 LLMをベースとした簡易シミュレータは, 希少かつ高インパクトな障害モードの捕捉に苦慮していることを示す。 本稿では,障害発生行動の忠実度を強調するリスク認識ツールシミュレータを提案する。
  論文  参考訳（メタデータ） (2026-02-02T06:33:22Z)
• PolaRiS: Scalable Real-to-Sim Evaluations for Generalist Robot Policies [88.78188489161028]
  シミュレーションにおける政策評価と環境復元(PolaRiS)の導入 PolaRiSは、高忠実度シミュレーションロボット評価のためのスケーラブルなリアルタイム・シミュレート・フレームワークである。 PolaRiSの評価は,既存のシミュレーションベンチマークよりも,現実のジェネラリストのポリシー性能に強い相関関係があることが示されている。
  論文  参考訳（メタデータ） (2025-12-18T18:49:41Z)
• RobotArena $\infty$: Scalable Robot Benchmarking via Real-to-Sim Translation [47.79800816696372]
  操作ポリシーの現実的なテストは、大規模に労働集約的で、再現が難しい。 既存のシミュレーションベンチマークも同様に制限されており、同じ合成ドメイン内でポリシーをトレーニングおよびテストしている。 本稿では,VLA評価を大規模にシミュレーションした拡張環境に移行することで,これらの課題を克服する新しいベンチマークフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-27T17:41:38Z)
• Generalizable Domain Adaptation for Sim-and-Real Policy Co-Training [21.855770200309674]
  一般化可能な操作ポリシーを学習するための統合型sim-and-real協調学習フレームワークを提案する。 シミュレーションデータを活用することで,実世界の成功率を最大30%向上できることを示す。
  論文  参考訳（メタデータ） (2025-09-23T04:32:53Z)
• Pseudo-Simulation for Autonomous Driving [66.1981253104508]
  既存の自動運転車(AV)の評価パラダイムは、重大な制限に直面している。 現実世界の評価は、安全上の懸念と現実主義の欠如のためにしばしば困難である。 オープンループ評価は、一般的に複合的なエラーを見落としているメトリクスに依存する。
  論文  参考訳（メタデータ） (2025-06-04T17:57:53Z)
• NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking [65.24988062003096]
  我々は,視覚に基づく運転ポリシーをベンチマークするフレームワークであるNAVSIMを提案する。 我々のシミュレーションは非反応性であり、評価された政策と環境は互いに影響を与えない。 NAVSIMはCVPR 2024で開催され、143チームが433のエントリーを提出し、いくつかの新たな洞察を得た。
  論文  参考訳（メタデータ） (2024-06-21T17:59:02Z)
• Evaluating Real-World Robot Manipulation Policies in Simulation [91.55267186958892]
  実環境と模擬環境の制御と視覚的格差は、信頼性のある模擬評価の鍵となる課題である。 実環境に完全忠実なデジタル双生児を作らなくても、これらのギャップを軽減できる手法を提案する。 シミュレーション環境の集合体であるSIMPLERを作成した。
  論文  参考訳（メタデータ） (2024-05-09T17:30:16Z)
• How Generalizable Is My Behavior Cloning Policy? A Statistical Approach to Trustworthy Performance Evaluation [17.638831964639834]
  行動クローニングポリシーは、人間のデモンストレーションから学ぶことで複雑なタスクを解決することに成功している。 本稿では,任意の環境下でのロボット性能について,より低バウンドなフレームワークを提案する。 実験では,シミュレーションとハードウェアの両方におけるビジュモータ操作のポリシーを評価する。
  論文  参考訳（メタデータ） (2024-05-08T22:00:35Z)
• Marginalized Importance Sampling for Off-Environment Policy Evaluation [13.824507564510503]
  強化学習法(Reinforcement Learning, RL)は、通常、サンプル非効率であり、実世界のロボットでRLポリティエの訓練と展開が困難である。 本稿では,エージェントポリシーを実環境にデプロイする前に,エージェントポリシーの現実的性能を評価するための新しいアプローチを提案する。 提案手法では,実世界のオフラインデータとともにシミュレータを組み込んで,任意のポリシーの性能評価を行う。
  論文  参考訳（メタデータ） (2023-09-04T20:52:04Z)
• Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
  シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。 しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。 視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
  論文  参考訳（メタデータ） (2023-07-28T05:47:24Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。