論文の概要: PRM-as-a-Judge: A Dense Evaluation Paradigm for Fine-Grained Robotic Auditing

• arxiv url: http://arxiv.org/abs/2603.21669v1
• Date: Mon, 23 Mar 2026 07:48:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.551417
• Title: PRM-as-a-Judge: A Dense Evaluation Paradigm for Fine-Grained Robotic Auditing
• Title（参考訳）: PRM-as-a-Judge:細粒ロボット監査のための高密度評価パラダイム
• Authors: Yuheng Ji, Yuyang Liu, Huajie Tan, Xuchuan Huang, Fanding Huang, Yijie Xu, Cheng Chi, Yuting Zhao, Huaihai Lyu, Peterson Co, Mingyu Cao, Qiongyu Zhang, Zhe Li, Enshen Zhou, Pengwei Wang, Zhongyuan Wang, Shanghang Zhang, Xiaolong Zheng,
• Abstract要約: PRM-as-a-Judgeはトラジェクティブビデオから直接ポリシー実行を監査する高密度評価パラダイムである。 このパラダイムの中心はOPDメトリックシステムであり、タスク対応の進捗電位によって実行品質を明示的に定式化する。 マイクロスケールプログレス判別のための診断ベンチマークであるRoboPulseを用いて,マイクロレゾリューション特性を実証的に検証した。
• 参考スコア（独自算出の注目度）: 45.2131622534282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current robotic evaluation is still largely dominated by binary success rates, which collapse rich execution processes into a single outcome and obscure critical qualities such as progress, efficiency, and stability. To address this limitation, we propose PRM-as-a-Judge, a dense evaluation paradigm that leverages Process Reward Models (PRMs) to audit policy execution directly from trajectory videos by estimating task progress from observation sequences. Central to this paradigm is the OPD (Outcome-Process-Diagnosis) metric system, which explicitly formalizes execution quality via a task-aligned progress potential. We characterize dense robotic evaluation through two axiomatic properties: macro-consistency, which requires additive and path-consistent aggregation, and micro-resolution, which requires sensitivity to fine-grained physical evolution. Under this formulation, potential-based PRM judges provide a natural instantiation of dense evaluation, with macro-consistency following directly from the induced scalar potential. We empirically validate the micro-resolution property using RoboPulse, a diagnostic benchmark specifically designed for probing micro-scale progress discrimination, where several trajectory-trained PRM judges outperform discriminative similarity-based methods and general-purpose foundation-model judges. Finally, leveraging PRM-as-a-Judge and the OPD metric system, we conduct a structured audit of mainstream policy paradigms across long-horizon tasks, revealing behavioral signatures and failure modes that are invisible to outcome-only metrics.
• Abstract（参考訳）: 現在のロボット評価は大半がバイナリ成功率であり、リッチな実行プロセスを単一の結果に分解し、進歩、効率、安定性などの不明瞭な重要な品質を損なう。 この制限に対処するために,プロセス・リワード・モデル(PRM)を利用した高密度評価パラダイムであるPRM-as-a-Judgeを提案する。 このパラダイムの中心はOPD(Outcome-Process-Diagnosis)メトリックシステムであり、タスク整合した進捗電位によって実行品質を明示的に定式化する。 我々は,2つの公理特性,すなわち,加法的およびパス一貫性的な凝集を必要とするマクロ一貫性と,微粒な物理的進化に敏感な微小分解能を特徴付ける。 この定式化の下では、ポテンシャルに基づくPRM判定器は、誘導されたスカラーポテンシャルから直接マクロ一貫性を持つ密度評価の自然なインスタンス化を提供する。 そこで我々は,マイクロスケールの進行判定を専門とする診断ベンチマークであるRoboPulseを用いて,マイクロレゾリューション特性を実証的に検証した。 最後に, PRM-as-a-Judge と OPD メトリクスシステムを活用して, 長期的タスクにまたがる主要な政策パラダイムの構造化監査を行い, 結果のみのメトリクスには見えない行動シグネチャと障害モードを明らかにする。

関連論文リスト

• The Lessons of Developing Process Reward Models in Mathematical Reasoning [62.165534879284735]
  Process Reward Models (PRM) は、推論プロセスにおける中間エラーを特定し、緩和することを目的としている。 我々は,モンテカルロ (MC) 推定とLarge Language Models (LLM) を効果的に統合するコンセンサスフィルタリング機構を開発した。 私たちは、既存のオープンソース代替品よりも優れた、最先端のPRMを新たにリリースしています。
  論文  参考訳（メタデータ） (2025-01-13T13:10:16Z)
• Process Reward Model with Q-Value Rankings [18.907163177605607]
  プロセス・リワード・モデリング(PRM)は複雑な推論と意思決定に不可欠である。 本稿では,マルコフ決定プロセスの文脈でPRMを再定義する新しいフレームワークであるProcess Q-value Model(PQM)を紹介する。 PQMは、新しい比較損失関数に基づいてQ値ランキングを最適化し、シーケンシャルな決定の中で複雑なダイナミクスをキャプチャするモデルの能力を向上する。
  論文  参考訳（メタデータ） (2024-10-15T05:10:34Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Reinforcement Learning with a Terminator [80.34572413850186]
  我々は, TerMDP のパラメータを学習し, 推定問題の構造を活用し, 状態ワイドな信頼境界を提供する。 我々はこれらを用いて証明可能な効率のよいアルゴリズムを構築し、終端を考慮し、その後悔を抑える。
  論文  参考訳（メタデータ） (2022-05-30T18:40:28Z)
• Robust Entropy-regularized Markov Decision Processes [23.719568076996662]
  本稿では,ER-MDPモデルのロバストバージョンについて検討する。 我々は, ER-MDPと頑健な非正規化MDPモデルに係わる重要な特性も設定に保たれることを示す。 私たちは、我々のフレームワークと結果を、価値や(修正された)ポリシーを含む異なるアルゴリズムのスキームに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-12-31T09:50:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。