論文の概要: Critical Interval MSE: Toward Reliable Offline Validation for Robot Manipulation Policies
- arxiv url: http://arxiv.org/abs/2606.29898v1
- Date: Mon, 29 Jun 2026 07:34:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.096391
- Title: Critical Interval MSE: Toward Reliable Offline Validation for Robot Manipulation Policies
- Title（参考訳）: クリティカルインターバルMSE:ロボットマニピュレーションポリシーの信頼性の高いオフライン検証に向けて
- Abstract要約: 直感的にシンプルで効果的なオフライン検証指標であるCritical Interval MSEを導入する。
シミュレーションおよび実世界の実験では、CI-MSEは生のMSEよりも検証誤差とロールアウト性能の相関が強い。
- 参考スコア（独自算出の注目度）: 11.165942663518885
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world evaluation is the gold standard for robot policies because it tests them against the physical conditions and deployment challenges they are ultimately designed to handle. However, real-world evaluation is also the bottleneck for iterating on robot policies: it is costly, difficult to reproduce, and often too sparse to reliably compare nearby model variants. A straightforward proxy for performance is validation loss on expert demonstrations, but this proxy is often poorly correlated with real-world performance. In this paper, we introduce Critical Interval MSE (CI-MSE), an intuitively simple yet effective offline validation metric. CI-MSE restricts error computation to task-critical segments and pairs it with simple action-alignment procedures that better match rollout-time behavior. Across simulation and real-world experiments, CI-MSE yields a stronger correlation between validation error and rollout performance than raw MSE. Across a wide range of policy checkpoints, CI-MSE achieves a Spearman's rank correlation of $-0.87$, much closer to the ideal value of $-1$ than raw MSE's $-0.61$, demonstrating a significant improvement. We show through sensitivity analysis that our metric is robust to a wide range of hyperparameters. We further study the effectiveness of CI-MSE under evaluation distribution shifts and suggest design boundaries when using this metric. In summary, this paper provides a simple and reliable offline validation tool for accelerating policy iteration. Project webpage: https://ci-mse.github.io/
- Abstract（参考訳）: 実世界の評価は、ロボットポリシーのゴールドスタンダードである。なぜなら、ロボットが最終的に扱うように設計された物理的条件や配置上の課題に対して、それらをテストするからだ。
しかし、実世界の評価はロボットポリシーを反復する上でもボトルネックであり、コストがかかり、再現が困難であり、しばしば近隣のモデル変種を確実に比較するにはスパースすぎる。
パフォーマンスの直接的なプロキシは、専門家によるデモンストレーションでのバリデーションの損失であるが、このプロキシは実世界のパフォーマンスとあまり相関しないことが多い。
本稿では,直感的にシンプルだが効果的なオフライン検証指標であるCritical Interval MSE(CI-MSE)を紹介する。
CI-MSEは、エラー計算をタスククリティカルなセグメントに制限し、ロールアウト時の動作に合わせた単純なアクションアライメント手順と組み合わせる。
CI-MSEはシミュレーションと実世界の実験で、生のMSEよりも検証誤差とロールアウト性能の相関が強い。
幅広い政策チェックポイントにおいて、CI-MSEはスピアマンのランク相関の$-0.87$を達成し、MSEの$-0.61$よりも理想的な$-1$に非常に近い。
感度解析により、我々の測定値が広い範囲のハイパーパラメータに対して堅牢であることを示す。
評価分布シフトにおけるCI-MSEの有効性についても検討し,この測定値を用いた場合の設計境界を提案する。
まとめると、本論文はポリシーの反復を加速するためのシンプルで信頼性の高いオフライン検証ツールを提供する。
プロジェクトWebページ: https://ci-mse.github.io/
関連論文リスト
- CAST: Critique-Aware Supervision for Training Reliable Long-Horizon Tool-Calling Agents [66.9575676266637]
大規模言語モデル(LLM)エージェントは、長期的、インタラクティブでステートフルな環境にますますデプロイされている。
これらの設定では、間違った購入を返金するなどの1つの間違ったアクションは、不可逆なタスクの失敗を引き起こし、実行前にインターセプトされなければならない。
CASTは、スパースタスクの結果を批判学習と政策最適化のためのアクションレベル監視に変換する、批判に意識したトレーニングフレームワークである。
論文 参考訳（メタデータ） (2026-08-31T01:59:51Z) - Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。
EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
論文 参考訳（メタデータ） (2026-05-28T09:45:47Z) - Towards Human-Like Interactive Speech Recognition With Agentic Correction and Semantic Evaluation [53.844308305341166]
単一パスのASRフロントエンドと意味的訂正,意図のルーティング,推論に基づく編集を組み合わせた閉ループフレームワークである textbfAgentic ASR を提案する。
複数言語、名前付き集中型、コードスイッチングベンチマークの実験は、反復的相互作用が意味的誤りを一貫して減少させることを示している。
論文 参考訳（メタデータ） (2026-05-28T06:23:31Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - Provably Efficient Sample Complexity for Robust CMDP [7.060086147428817]
安全制約を満たしつつ累積報酬を最大化する学習政策の問題点を考察する。
我々は,強固な制約付きマルコフ決定プロセス(RCMDPs)に焦点を当てる。そこではエージェントは,累積効用がしきい値を超えることを保証しながら報酬を最大化しなければならない。
本稿では,ロバスト制約値反復(RCVI)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-11-10T04:40:37Z) - Automatic Failure Attribution and Critical Step Prediction Method for Multi-Agent Systems Based on Causal Inference [8.823529310904162]
マルチエージェントシステム(MAS)は複雑なタスクの自動化に不可欠であるが、その実践的展開は障害帰属の課題によって妨げられている。
マルチグラニュラリティ因果推論に基づくMASのための最初の失敗帰属フレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-10T15:22:00Z) - SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。
我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。
これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
論文 参考訳（メタデータ） (2025-02-24T07:15:05Z) - Efficient and Sharp Off-Policy Evaluation in Robust Markov Decision Processes [44.974100402600165]
意思決定プロセス(MDP)に対する最良パラメトリックかつ最悪の摂動の評価について検討する。
我々は、元のMDPからの遷移観測を用いて、それらが同一または異なるポリシーの下で生成されるかのどちらかを判断する。
我々の推定器はウォルドの信頼区間を用いた統計的推測も行う。
論文 参考訳（メタデータ） (2024-03-29T18:11:49Z) - Minimax Optimal Online Imitation Learning via Replay Estimation [47.83919594113314]
本稿では,この経験的分散を低減するために,リプレイ推定手法を提案する。
提案手法では, min(H3/2 / N, H / sqrtN$)$ 依存度を最適に$widetildeO に設定する。
論文 参考訳（メタデータ） (2022-05-30T19:29:56Z) - Mutual-Information Based Few-Shot Classification [34.95314059362982]
数ショット学習のためのTIM(Transductive Infomation Maximization)を提案する。
提案手法は,与えられた数発のタスクに対して,クエリ特徴とラベル予測との相互情報を最大化する。
そこで我々は,勾配に基づく最適化よりもトランスダクティブ推論を高速化する交代方向解法を提案する。
論文 参考訳（メタデータ） (2021-06-23T09:17:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。