論文の概要: SPECOLA: A Tool for Specification Driven Robot Evaluation

• arxiv url: http://arxiv.org/abs/2610.35730v1
• Date: Mon, 26 Oct 2026 16:47:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.118073
• Title: SPECOLA: A Tool for Specification Driven Robot Evaluation
• Title（参考訳）: SPECOLA: 仕様駆動型ロボット評価ツール
• Abstract要約: 本稿では,STL仕様に関するシミュレーションにおいて,ロボットの動作を評価するためのツールであるSpecolaを紹介する。 Specolaはシミュレーター信号よりも仕様を書くためのインターフェースを提供し、ポリシーの実行中に関連するモニタを作成し、管理する。 LIBERO、RoboCasa、Isaac Lab、RoboDojoを含む9つのシミュレーション環境とベンチマーク用のアダプタを提供する。
• 参考スコア（独自算出の注目度）: 6.273722322121771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simulation benchmarks are a useful way to measure progress in robotics; typically they provide success rate as the dominant measure of performance. However, success rate reports only whether a rollout completed the task, hiding by what margin it succeeded, how sensitive the success is to goal parameter changes, requirements it may have violated, and whether success persisted. Signal Temporal Logic (STL) provides a formal language for capturing specifications; it can be used to define requirements, and measure how close a robot behavior is to satisfying or violating them. Using STL monitors in a simulator, however, requires exposing simulator state and mapping it to specification-relevant signals. We present Specola, a tool for evaluating robot behaviors in simulation with respect to STL specifications. Specola provides an interface for writing specifications over simulator signals, and creates and manages the relevant monitors while a policy executes. We provide a Python API and command-line interface for integrating monitoring into existing policy execution loops. We provide an adapter interface for connecting new simulators, and provide adapters for nine simulation environments and benchmarks, including LIBERO, RoboCasa, Isaac Lab, and RoboDojo. We provide case studies that illustrate the nuanced evaluation that Specola enables. Code and adapters are available at https://github.com/specola-eval/specola.
• Abstract（参考訳）: シミュレーションベンチマークは、ロボット工学の進歩を測定する上で有用な方法である。 しかしながら、成功率は、ロールアウトがタスクを完了したかどうか、成功したマージン、成功が目標パラメータの変更にどれほど敏感であるか、違反した可能性のある要件、成功が継続したかどうかを隠蔽するのみである。 Signal Temporal Logic (STL) は、要求を定義し、ロボットの動作が満たされるか、違反するかを測定するのに使用できる。 しかし、シミュレーターでSTLモニターを使用するには、シミュレーター状態の露光と仕様関連信号へのマッピングが必要である。 本稿では,STL仕様に関するシミュレーションにおいて,ロボットの動作を評価するためのツールであるSpecolaを紹介する。 Specolaはシミュレーター信号よりも仕様を書くためのインターフェースを提供し、ポリシーの実行中に関連するモニタを作成し、管理する。 監視を既存のポリシ実行ループに統合するためのPython APIとコマンドラインインターフェースを提供しています。 新しいシミュレータを接続するためのアダプタインターフェースを提供し、LIBERO、RoboCasa、Isaac Lab、RoboDojoを含む9つのシミュレーション環境とベンチマーク用のアダプタを提供する。 我々はSpecolaが実現したニュアンス評価のケーススタディを提供する。 コードとアダプタはhttps://github.com/specola-eval/specola.comで入手できる。

関連論文リスト

• Embodied Zero-Shot Task Planning via Hardware-Aware LLM-VLM Integration for Grounded Robotic Manipulation [0.0]
  本稿では,Franka Research 3ロボットのためのハードウェア対応大規模言語モデルビジョン言語モデル (LLM-VLM) 操作フレームワークを提案する。 このフレームワークは、記号的推論とメトリック実行を分離する。 これは、ピックアップ、閉鎖されたソースアクセス、メンテナンスアウト推論、関係配置、シーケンシャルな操作タスクを含むデジタルツイントライアルのシミュレーションによって評価される。
  論文  参考訳（メタデータ） (2026-10-08T22:59:11Z)
• XPolicyLab: A Unified Standard and Open Ecosystem for Robot Policy Evaluation and Deployment [110.47421789797546]
  XPolicyLabは、ロボットポリシーの評価とデプロイのための統一された標準でオープンなエコシステムである。 XPolicyLabは42のロボットポリシーを統合し、インストール、デバッグ、サービス、アダプタ、評価を標準化する。 コントロールされた研究では、標準に従って、代表政策の統合の労力を5時間以上から2時間に短縮する。
  論文  参考訳（メタデータ） (2026-08-10T17:41:04Z)
• WorldSimProbe: Diagnosing Simulator Faithfulness in Action-Conditioned World Models for Embodied Manipulation [85.15806404962193]
  行動条件付き世界モデル(ACWM)は、計画、ポリシー評価、データ生成のためのスケーラブルな予測シミュレータを具現化したAIを提供することを約束する。 物理シミュレータが期待する観測能力を用いてACWMを評価する。 WorldSimProbeは、制御のバリエーション、相互作用のグラウンディングにおける構造化された障害、ダイナミックスにまたがる、システマティックなアクション実現の劣化を明らかにする。
  論文  参考訳（メタデータ） (2026-08-10T08:48:06Z)
• SeqFeed: Improving Agentic RTL Code Generation with Sequential Behavior Feedback [15.691779408217814]
  正しいRTLコードを生成するには、複数のクロックサイクル上で信号がどのように進化し伝播するかを含むシーケンシャルな振る舞いを理解する必要がある。 textitSeqFeed は textitSeQuery と textitSeGraph の2つの補完メカニズムから構成される。
  論文  参考訳（メタデータ） (2026-08-09T15:15:33Z)
• PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
  我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。 セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。 SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。 ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
  論文  参考訳（メタデータ） (2026-07-18T04:46:53Z)
• IR-SIM: A Lightweight Skill-Native Simulator for Navigation, Learning, and Benchmarking [59.6657632820611]
  IR-SIMは、迅速なシナリオ構築、ベンチマーク、ロボット学習のために設計された、スキルネイティブなナビゲーションシミュレータである。 シナリオは、モバイルロボットキネマティクス、幾何学的衝突チェック、LiDARセンシング、可視化、行動モジュールを指定するYAML設定ファイルで完全に定義されている。 実験では、複数のタスクにおいてIR-SIMの利便性と汎用性を示す。
  論文  参考訳（メタデータ） (2026-06-07T16:55:37Z)
• GRS: Generating Robotic Simulation Tasks from Real-World Images [21.599606995763036]
  GRSは単一のRGB-D観測からデジタルツインシミュレーションを作成し、仮想エージェントトレーニングのための解決可能なタスクを行う。 生成したテストスイートを通じてシミュレーションタスクのアライメントを確保し、シミュレーションとテストコードの両方を反復的に洗練するルータを導入する。
  論文  参考訳（メタデータ） (2024-10-20T23:33:06Z)
• HandoverSim: A Simulation Framework and Benchmark for Human-to-Robot Object Handovers [60.45158007016316]
  HandoverSimは、人間からロボットへのオブジェクトハンドオーバのシミュレーションベンチマークである。 我々は、物体の手でのつかみの最近のモーションキャプチャーデータセットを活用する。 標準化されたプロトコルとメトリクスを使って受信機のトレーニングと評価環境を作成します。
  論文  参考訳（メタデータ） (2022-05-19T17:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。