Fugu-MT 論文翻訳(概要): RoboValue: A Fine-Grained Sim-and-Real Benchmark for Unified Evaluation of Robotic Value Models

論文の概要: RoboValue: A Fine-Grained Sim-and-Real Benchmark for Unified Evaluation of Robotic Value Models

arxiv url: http://arxiv.org/abs/2610.26663v1
Date: Mon, 19 Oct 2026 16:19:08 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-23 02:03:40.761428
Title: RoboValue: A Fine-Grained Sim-and-Real Benchmark for Unified Evaluation of Robotic Value Models
Title（参考訳）: RoboValue: ロボット価値モデルの統一評価のための細粒度実測ベンチマーク
Abstract要約: ロボット価値モデルの統一評価のための詳細なベンチマークであるRoboValueを紹介する。この結果から, きめ細かな命令接地, 履歴に依存した進捗追跡, 回復評価の誤差が明らかになった。これらの結果から, 価値管理のための具体的な目標を特定し, データセットと公開リーダボードのサポートは, フィードバックの信頼性の評価を継続した。
参考スコア（独自算出の注目度）: 26.340253010701584
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Robotic value models assess task execution from visual observations and instructions, providing feedback for policy learning and execution monitoring. However, existing evaluations cover only selected aspects of execution understanding, leaving the reliability of value feedback insufficiently tested. We introduce RoboValue, a fine-grained sim-and-real benchmark for unified evaluation of robotic value models. Its framework evaluates four complementary capability dimensions through shared interfaces: task-state understanding, temporal progress monitoring, failure and recovery reasoning, and value consistency. Diagnostic trajectories and instruction variations test whether value judgments accurately reflect task requirements and changes throughout execution. RoboValue-Dataset covers 15 simulation and 20 real-world manipulation tasks, providing expert demonstrations for training and annotated trajectories for fine-grained evaluation. We evaluate representative robotic value models in zero-shot and one-shot settings under standard conditions and separate shifts in robot embodiment and environment. Our results reveal errors in fine-grained instruction grounding, history-dependent progress tracking, and recovery assessment, even in models with strong outcome and forward-progress scores. The same semantic subtask can also receive substantially different value gains across valid execution orders. These findings identify concrete targets for value supervision, while the dataset and public leaderboard support continued assessment of feedback reliability. The website is available at https://robovalue-benchmark.github.io/.
Abstract（参考訳）: ロボット価値モデルは、視覚的な観察と指示からタスクの実行を評価し、ポリシー学習と実行監視のためのフィードバックを提供する。しかし、既存の評価では、選択された実行理解の側面のみをカバーしており、価値フィードバックの信頼性は十分にテストされていない。ロボット価値モデルの統一評価のための,詳細なsim-and-realベンチマークであるRoboValueを紹介する。そのフレームワークは、タスク状態の理解、時間的進捗監視、障害とリカバリの推論、値整合性の4つの相補的な機能ディメンションを共有インターフェースを通じて評価する。診断トラジェクトリと命令のバリエーションは、値判断がタスク要求や実行中の変化を正確に反映しているかどうかをテストする。 RoboValue-Datasetは15のシミュレーションと20の現実世界の操作タスクをカバーする。我々は、標準条件下でのゼロショットとワンショット設定における代表的ロボット価値モデルの評価を行い、ロボットの実施状況と環境の異なるシフトについて検討した。結果より, 高精度な指導基盤, 履歴に依存した進捗追跡, 回復評価の誤差は, 結果が強いモデルや前向きスコアのモデルにおいても明らかとなった。同じセマンティックサブタスクは、有効な実行順序間で、かなり異なる値ゲインを受け取ることもできる。これらの結果から, 価値管理のための具体的な目標を特定し, データセットと公開リーダボードのサポートは, フィードバックの信頼性の評価を継続した。ウェブサイトはhttps://robovalue-benchmark.github.io/.comで公開されている。

関連論文リスト

RoboFQE: Rollout-Free Evaluation of Visual Robot Policies from Offline Trajectories [15.848579764975598]
本稿では,ロールアウト型ロボット政策評価手法の代替として,オフ政治評価について検討する。具体的には、オフラインロボット軌道からの目標ポリシーの割引を推定する評価器であるRoboFQEを紹介する。シミュレーションおよび実世界の操作タスクにおける制御された実験は、RoboFQEが正確な割引リターン推定を生成することを示している。
論文参考訳（メタデータ） (2026-10-13T16:48:25Z)
CARE: Experience-Guided Atomic Corrective Execution for Vision-Language-Action Policies [52.32735203969873]
VLA(Vision-Language-Action)ポリシーは、ロボット操作において強力なパフォーマンスを達成するが、実行が名目上の軌道から逸脱した後も不安定なままである。本稿では,実行時に発生する障害から学習することで回復を改善するフレームワークであるCARE(Corrective Atomic Robotic Execution)を提案する。
論文参考訳（メタデータ） (2026-09-21T05:14:34Z)
FIERCE: From Generalist Robot Policies to Fast Specialists via Progress-Failure Feedback [32.98143466079881]
汎用的なロボットポリシーは役に立つが、限定的な物理的相互作用を通じてコンパクトなスペシャリストを磨き直すには、情報的学習のフィードバックが必要である。 FIERCEは,タスク適応型プログレッシブ・フェール評価器を統合化した汎用的な強化学習フレームワークである。この評価は、フィードバック品質、ポリシー学習効率、シミュレーション全体にわたるデプロイメントコストと2つのコンタクトリッチな実際のタスクを分離する。
論文参考訳（メタデータ） (2026-09-16T13:34:08Z)
R2S-Eval: Robot Evaluation with Real-to-Sim Calibration via Vision-Language Models [12.45799943639499]
R2S-Evalは、リアル・ツー・シミュレート・キャリブレーションと視覚言語モデル(VLM)の嗜好評価を組み合わせた評価パイプラインである。信頼性が高く安定したポリシーの結論を導き、人間の好みとの一致を達成し、繰り返しハードウェア操作の労力を大幅に削減し、バイナリ成功ラベルによって捉えられない行動品質の違いを明らかにする。
論文参考訳（メタデータ） (2026-09-03T02:08:16Z)
GigaWorld-1: A Roadmap to Build World Models for Robot Policy Evaluation [73.02743604295246]
WMBenchは、実際のロボット遠隔操作データとポリシーのロールアウトから構築されたベンチマークである。 7つのビデオワールドモデル,4つのアクション表現スキーム,および実際のロボット実行と組み合わせた324,000以上のシミュレートされたポリシーロールアウトを分析した。評価者の品質は、短期的な視覚的リアリズムよりも、長期的な、行動に忠実なロールアウト一貫性に支配されている。
論文参考訳（メタデータ） (2026-07-02T17:02:43Z)
From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
論文参考訳（メタデータ） (2026-06-07T13:34:55Z)
Interactive Evaluation Requires a Design Science [90.62695599188204]
大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
論文参考訳（メタデータ） (2026-05-18T04:03:18Z)
LURE: Live-Usage Replay Evaluations for Reducing Evaluation Awareness [0.47745223151611654]
本稿では, LURE (Live-Usage Replay Evaluations) を提案する。 LUREは現実的なエージェント間相互作用の軌跡を再生し、最後にアタッチメント評価プロンプトを付加する。 LUREに基づく評価は、広く使われているベンチマークや合成評価ジェネレータよりも、デプロイとはかなり区別がつかないことが判明した。
論文参考訳（メタデータ） (2026-04-08T00:04:19Z)
IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。 IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
論文参考訳（メタデータ） (2026-03-05T02:21:17Z)
LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization [33.562814882942]
LIBEROはVision-Language-Action (VLA)モデルを評価するための広く採用されているベンチマークとして登場した。本稿では,モデル性能を合理的な摂動下で体系的に評価する拡張LIBEROベンチマークであるLIBERO-PROを紹介する。実験の結果,既存のモデルでは標準LIBERO評価では90%以上の精度が得られたが,一般設定では0.0%に低下した。
論文参考訳（メタデータ） (2025-10-04T14:56:40Z)
From Adversarial Arms Race to Model-centric Evaluation: Motivating a Unified Automatic Robustness Evaluation Framework [91.94389491920309]
テキストの敵対攻撃は、セマンティック保存されているが、入力に誤解を招く摂動を加えることでモデルの弱点を発見することができる。既存のロバストネス評価の実践は、包括的評価、非現実的評価プロトコル、無効な対人サンプルの問題を示す可能性がある。我々は、敵攻撃の利点を活用するために、モデル中心の評価にシフトする統合された自動ロバストネス評価フレームワークを構築した。
論文参考訳（メタデータ） (2023-05-29T14:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。