論文の概要: PRM-as-a-Judge 1.5: A Toolkit for Robot Process Assessment
- arxiv url: http://arxiv.org/abs/2608.14284v1
- Date: Fri, 14 Aug 2026 13:10:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.386373
- Title: PRM-as-a-Judge 1.5: A Toolkit for Robot Process Assessment
- Title（参考訳）: PRM-as-a-Judge 1.5:ロボットプロセス評価用ツールキット
- Abstract要約: ロボットプロセス評価のためのツールキットであるPRM-as-a-Judge 1.5を提案する。
ビデオのロールアウトを濃密な進行曲線に変え、複数の詳細なメトリクスを導出する。
また、プロセス報酬モデルの信頼性を評価するためにRoboPulse++を導入します。
- 参考スコア（独自算出の注目度）: 34.01922956216341
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-grained robotic evaluation matters for understanding embodied models, going beyond binary success rates and rule-based process scores. We present PRM-as-a-Judge 1.5, a toolkit for robot process assessment that turns rollout videos into dense progress curves and derives multiple fine metrics. PRM-as-a-Judge 1.5 introduces three metrics, building on version 1.0, that characterize failure-side progress, post-drawdown recovery, and success-side execution quality, helping users understand embodied model capability. Based on the rollout videos from benchmarks, we perform a comprehensive assessment of the embodied models, providing some fine-grained metric results and key findings. We further introduce RoboPulse++ to evaluate the reliability of process reward models (PRM), providing evaluators with a more accurate testing platform. Moreover, we release a user-friendly assessment suite, including the benchmark, metric implementation, and visualization tools, to support reproducible manipulation process evaluation. We call on the community to rethink how robots are evaluated and establish transparent, procedural, and reproducible assessment as a foundation for the next generation of embodied intelligence.
- Abstract（参考訳）: 詳細なロボット評価は、二進的な成功率とルールベースのプロセススコアを超えた、実施されたモデルを理解する上で重要なものだ。
PRM-as-a-Judge 1.5は、ロボットプロセス評価のためのツールキットで、ビデオのロールアウトを濃密な進行曲線に変換し、複数の細かいメトリクスを導出する。
PRM-as-a-Judge 1.5では、バージョン1.0上に構築された3つのメトリクスが導入されている。これは、障害側の進捗、ドローダウン後のリカバリ、成功側の実行品質を特徴付けるもので、ユーザがエンボディされたモデル機能を理解するのに役立つ。
ベンチマークのロールアウトビデオに基づいて、実施したモデルの包括的評価を行い、いくつかの詳細な測定結果と重要な結果を提供する。
さらに,プロセス報酬モデル(PRM)の信頼性を評価するために,RoboPulse++を導入する。
さらに,再現可能な操作プロセス評価を支援するために,ベンチマーク,メトリック実装,可視化ツールなどのユーザフレンドリな評価スイートをリリースする。
我々は、次世代のインテリジェンスの基礎として、ロボットをどのように評価し、透明で手続き的で再現可能な評価を確立するかを再考するようコミュニティに呼びかける。
関連論文リスト
- R2S-Eval: Robot Evaluation with Real-to-Sim Calibration via Vision-Language Models [12.45799943639499]
R2S-Evalは、リアル・ツー・シミュレート・キャリブレーションと視覚言語モデル(VLM)の嗜好評価を組み合わせた評価パイプラインである。
信頼性が高く安定したポリシーの結論を導き、人間の好みとの一致を達成し、繰り返しハードウェア操作の労力を大幅に削減し、バイナリ成功ラベルによって捉えられない行動品質の違いを明らかにする。
論文 参考訳（メタデータ） (2026-09-03T02:08:16Z) - Open Evaluation Agent: Efficient and Promptable Evaluation of Visual Generative Models [74.1961755473754]
既存の評価手法は、特定のユーザのニーズを見落とし、明確な説明なしに数値的な結果を提供する厳密なパイプラインに依存している。
本研究では,効率的,動的,多ラウンドな評価に人間的な戦略を用いる評価エージェントフレームワークを提案する。
その結果,評価エージェントは評価時間を従来の手法の10%に短縮し,比較結果が得られた。
論文 参考訳（メタデータ） (2026-08-10T14:42:10Z) - How can we assess human-agent interactions? Case studies in software agent design [52.953425368394306]
我々は,人間とエージェントの相互作用の厳密な評価に向けて,二つの大きな一歩を踏み出した。
エージェント設計のより効率的な人間中心評価のためのフレームワークであるPULSEを提案する。
私たちは、オープンソースのソフトウェアエージェントOpenHandsを中心に構築された大規模なWebプラットフォームにフレームワークをデプロイします。
論文 参考訳（メタデータ） (2025-10-10T19:04:28Z) - SCAN: Structured Capability Assessment and Navigation for LLMs [54.54085382131134]
textbfSCAN (Structured Capability Assessment and Navigation) は、大規模言語モデルの詳細な特徴付けを可能にする実用的なフレームワークである。
SCANには4つの重要なコンポーネントが含まれている。
TaxBuilder – クエリから機能表示タグを抽出して階層的な分類構造を構築する。
RealMixは、各機能タグに対する十分な評価データを保証するクエリ合成とフィルタリングのメカニズムである。
PC$2$ベースのLCM-as-a-Judge法は従来のLCM-as-a-Judge法と比較して大幅に精度が向上する
論文 参考訳（メタデータ） (2025-05-10T16:52:40Z) - The Lessons of Developing Process Reward Models in Mathematical Reasoning [62.165534879284735]
Process Reward Models (PRM) は、推論プロセスにおける中間エラーを特定し、緩和することを目的としている。
我々は,モンテカルロ (MC) 推定とLarge Language Models (LLM) を効果的に統合するコンセンサスフィルタリング機構を開発した。
私たちは、既存のオープンソース代替品よりも優れた、最先端のPRMを新たにリリースしています。
論文 参考訳（メタデータ） (2025-01-13T13:10:16Z) - ToolComp: A Multi-Tool Reasoning & Process Supervision Benchmark [0.0]
マルチステップのツール使用推論を評価するためのベンチマークであるToolCompを紹介する。
ToolCompはモデルと人間のアノテータのコラボレーションによって開発されている。
我々は、結果教師付き報酬モデルとプロセス教師付き報酬モデルのパフォーマンスを比較するために、合成トレーニングデータを生成する。
論文 参考訳（メタデータ） (2025-01-02T15:10:52Z) - Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。
我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。
実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
論文 参考訳（メタデータ） (2024-11-23T08:06:06Z) - CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。
CompassJudger-1は、優れた汎用性を示す汎用LLMである。
textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
論文 参考訳（メタデータ） (2024-10-21T17:56:51Z) - Self-Judge: Selective Instruction Following with Alignment Self-Evaluation [27.69410513313001]
提案手法は, 予測された応答品質が低い場合, 命令の実行を減少させる。
人手による品質スコアを必要とせずに、判断モデルを開発するための新しい自己学習フレームワークであるSelf-Jを紹介する。
論文 参考訳（メタデータ） (2024-09-02T04:14:13Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。