論文の概要: When the Simulator Fails, Not the Policy: Auditing Contact Artifacts in Simulated Robot Benchmarks
- arxiv url: http://arxiv.org/abs/2610.41857v1
- Date: Fri, 30 Oct 2026 15:13:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.783755
- Title: When the Simulator Fails, Not the Policy: Auditing Contact Artifacts in Simulated Robot Benchmarks
- Title(参考訳): シミュレータが機能しない場合, ポリシーではない: シミュレーションロボットベンチマークにおけるコンタクトアーティファクトの監査
- Abstract要約: シミュレーションベンチマークは成功率でロボットのポリシーをスコアし、失敗したエピソードはすべてポリシーに反する。
LIBERO、RoboTwin、RoboCasa、RoboDojoの監査プラグインであるSimuGuardを紹介します。
- 参考スコア(独自算出の注目度): 15.722161487644579
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Simulation benchmarks score robot policies by success rate, and every failed episode counts against the policy. Many of these failures are the simulator's fault, not the policy's; we find the cause and fix it. Testing a vision language action model and a world action model in simulation, we find that the policy often places the object and the simulator then ejects it, and that the benchmark's own scripted demonstrations fail the same way. We present SimuGuard, an auditing plugin for LIBERO, RoboTwin, RoboCasa and RoboDojo. It leaves the evaluation unchanged. At every physics step, it records the state and flags an object that starts moving at a contact faster than the robot's contact or gravity account for. It replays a recorded episode bit for bit, and it reruns the episode with one simulation parameter changed. With it we trace these episodes on RoboTwin to the collision detection of the physics engine: for geometry one to two centimeters apart, the engine reports a penetration of about two centimeters, and the solver throws the object out at several meters per second. The cause is one constant: the distance algorithm discards triangles below a fixed area threshold, which valid triangles fall below at the centimeter scale. With that constant changed and nothing else, episodes with an artifact fall from 12 in 100 to none, and the success rate on five container tasks rises from 89% to 98%. Success rates in simulation thus count failures that the simulator causes. Benchmarks on PhysX 5.3.1 or earlier should rerun in a repaired engine. Where the engine cannot change, they should report the success rate together with the range it spans when every flagged episode fails or passes: 75.8% to 98.5% around a reported 83.1% for LingBot-VA.
- Abstract(参考訳): シミュレーションベンチマークは成功率でロボットのポリシーをスコアし、失敗したエピソードはすべてポリシーに反する。
これらの障害の多くはシミュレータのせいで、ポリシーのせいではありません。
視覚言語アクションモデルと世界アクションモデルをシミュレーションでテストしたところ、ポリシーはしばしばオブジェクトとシミュレータを配置し、それをエジェクトし、ベンチマークのスクリプト化されたデモも同じように失敗することがわかった。
LIBERO、RoboTwin、RoboCasa、RoboDojoの監査プラグインであるSimuGuardを紹介します。
評価は変わっていない。
あらゆる物理ステップにおいて、状態を記録し、ロボットの接触や重力よりも速く接触から動き始める物体にフラグを付ける。
記録されたエピソードビットをビットで再生し、シミュレーションパラメータを1つ変更して再生する。
物理エンジンの衝突検出のために、RoboTwinのこれらのエピソードを辿った: 幾何学では1から2センチの間隔で、エンジンはおよそ2センチの浸透を報告し、解法器は物体を毎秒数メートルの速度で投げ出す。
距離アルゴリズムは、正三角形がセンチメートルのスケールで下降する固定領域しきい値以下に三角形を捨てる。
その定数が変化して,アーティファクトのエピソードが100分の12からゼロに減少し,5つのコンテナタスクの成功率が89%から98%に向上した。
これにより、シミュレーションにおける成功率は、シミュレータが引き起こす失敗を数えることができる。
PhysX 5.3.1以上のベンチマークは、修理されたエンジンで再実行されるべきである。
エンジンが変更できない場合は、各フラグ付きエピソードが失敗または通過した場合の成功率と共に75.8%から98.5%と報告され、LingBot-VAは83.1%と報告されている。
関連論文リスト
- Human Demonstrations as Post-Training Data for Any Robot Body: Retargeting the Object, Not the Hand [0.0]
携帯電話のようなシンプルでスケーラブルなデバイスに記録された人間のデモは、ロボットのポストトレーニングデータとして機能する。
キャプチャーは、時間とともにオブジェクトのポーズ、接触間隔、そして前兆のある再構成された3Dオブジェクトという、ボディフリーのレコードを生成する。
論文 参考訳(メタデータ) (2026-10-14T15:28:23Z) - DemoBridge: A Simulation-in-the-Loop Toolkit for Single-View Human Demonstration Retargeting [49.70827726228219]
このツールキットは、人間の手による実演のシングルビューRGBステレオ記録を、物理で検証可能なロボットアーム軌道に変換する。
DemoBridgeの中核は、衝突を意識した単一のプランナーである。
物理シミュレーターはループ内で動作し、生成した各フェーズを検証し、障害時にバックトラックするので、与えられたように再生できないデモは破棄されるのではなく、再計画される。
論文 参考訳(メタデータ) (2026-07-10T15:31:04Z) - WatchAct: A Benchmark for Behavior-Grounded Robot Manipulation [49.31386176285509]
WatchActは、観察された人間の行動に基づくロボット操作のベンチマークである。
WatchActは4つの機能ドメインで14タスクにわたる3,000のロングホライゾンインスタンスで構成されている。
シミュレーションとFranka Research 3ロボットの両方で、現在のシステムはWatchActの解決には程遠い。
論文 参考訳(メタデータ) (2026-06-24T23:13:56Z) - How Visible Are Silent Manipulation Failures? An Observability Study of False-Success Detection in Simulated Robot Episodes [0.0]
ロボット操作の模倣学習ポリシーは、トレーニングエピソードに付随する成功ラベルの品質を継承する。
ロボットが実際にタスクの結果が間違っていた場合、成功として記録するエピソードだ。
本研究では,2つのALOHAタスクのシミュレーションテストベッドを構築し,ラベル編集ではなく環境摂動による障害を誘導し,検出者が決して見ることのない特権的シミュレータ状態によって各エピソードをラベル付けし,ロボットがフラグ付けしたエピソードのみを成功に維持する。
論文 参考訳(メタデータ) (2026-06-02T04:22:13Z) - Pseudo-Simulation for Autonomous Driving [66.1981253104508]
既存の自動運転車(AV)の評価パラダイムは、重大な制限に直面している。
現実世界の評価は、安全上の懸念と現実主義の欠如のためにしばしば困難である。
オープンループ評価は、一般的に複合的なエラーを見落としているメトリクスに依存する。
論文 参考訳(メタデータ) (2025-06-04T17:57:53Z) - Robust Autonomy Emerges from Self-Play [63.44745854476206]
我々は、前例のない規模のシミュレーションにおいて、頑健で自然主義的な運転が、完全に自己プレイから現れることを示す。
Gigaflowは、42年間の主観的な運転体験を1時間に合成し、訓練することができる。
論文 参考訳(メタデータ) (2025-02-05T16:41:05Z) - RoboGSim: A Real2Sim2Real Robotic Gaussian Splatting Simulator [27.04267700576422]
RoboGSimは、3D Gaussian Splattingと物理エンジンを搭載した2sim2realのロボットシミュレーターだ。
シミュレーションされたデータを、新しいビュー、オブジェクト、軌跡、シーンで合成することができる。
我々は,RoboGSimと実際のロボットプラットフォーム上でのRoboGSimデータと実ロボットデータの比較を行った。
論文 参考訳(メタデータ) (2024-11-18T18:58:03Z) - Sim-to-Real Transfer for Vision-and-Language Navigation [70.86250473583354]
本研究では,従来は目に見えなかった環境下でロボットを解放し,制約のない自然言語ナビゲーション指示に従うという課題について検討する。
VLN(Vision-and-Language Navigation)の課題に関する最近の研究は、シミュレーションにおいて大きな進歩を遂げている。
ロボット工学における本研究の意義を評価するため,シミュレーションで訓練されたVLNエージェントを物理ロボットに転送する。
論文 参考訳(メタデータ) (2020-11-07T16:49:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。