論文の概要: Beyond Validation Loss: Coverage and Reliability Dynamics in Robot Policy Pretraining

• arxiv url: http://arxiv.org/abs/2611.01565v1
• Date: Sun, 01 Nov 2026 04:43:33 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:24:59.00759
• Title: Beyond Validation Loss: Coverage and Reliability Dynamics in Robot Policy Pretraining
• Title（参考訳）: 検証損失を超えて:ロボット政策事前訓練におけるカバレッジと信頼性のダイナミクス
• Abstract要約: クローズドループパス@kについて検討し、kが同じ初期状態からロールアウトする確率を少なくとも1つ評価した。 我々は、大きなkパス@kが、pass@1でキャプチャされないポストトレーニングの違いを明らかにしていることを示す。 本研究では,(1)クローズドループ評価を伴わずにカバレッジと信頼性のバランスをとる純粋オフラインチェックポイント選択基準,(2)有限のデモセットを超えて監督を拡大する生成データ拡張手順,の2つの実践的介入を提案する。
• 参考スコア（独自算出の注目度）: 33.59345218932051
• License:
• Abstract: In modern robot learning, generative robot policies are first pretrained through supervised learning from demonstrations, then refined through reinforcement learning, supervised finetuning, or other forms of posttraining. Yet conventional pretraining metrics, such as validation loss and average task success, provide an incomplete account of which policies support both effective direct deployment and subsequent posttraining. In this work, we study closed-loop pass@k, which evaluates the probability that k rollouts from the same initial condition attain at least one success. Thus, pass@1 measures mean task success; large-k pass@k measures whether success remains reachable under repeated sampling. Across a wide range of posttraining recipes, we show that large-k pass@k reveals posttraining differences not captured by pass@1. In particular, checkpoints with similar pass@1 but different large-k pass@k have different posttraining performance. Moreover, we show pass@k peaks at different checkpoints during supervised pretraining, revealing a coverage-reliability tradeoff over the course of training. Based on these observations, we propose two practical interventions: (1) a purely offline checkpoint-selection criterion that balances coverage and reliability without closed-loop evaluation, and (2) a generative data augmentation procedure that expands supervision beyond the finite demonstration set, preserving large-k pass@k while maintaining or improving pass@1 and raising the observed coverage-reliability Pareto frontier. Together, our results motivate evaluation, checkpoint selection, and training procedures that explicitly account for posttraining. Blog post, visualizations, and code are available at https://zhanyisun.github.io/robot-policy-learning-dynamics/.
• Abstract（参考訳）: 現代のロボット学習では、生成ロボットのポリシーは、まずデモから教師付き学習を通して事前訓練され、その後強化学習、教師付き微調整などによって洗練される。 しかし、バリデーション損失や平均タスク成功といった従来の事前トレーニングメトリクスは、効果的なダイレクトデプロイメントとその後のポストトレーニングの両方をサポートするポリシーの不完全な説明を提供する。 本研究では, 閉ループパス@kについて検討し, 同一初期条件からのロールアウトが少なくとも1回成功する確率を評価する。 従って、pass@1はタスクの成功を意味し、大きなkpass@kは繰り返しサンプリングされた場合、成功が到達可能かどうかを測定する。 幅広いポストトレーニングのレシピの中で、大きなkパス@kは、パス@1でキャプチャされないポストトレーニングの違いを示す。 特に、同様のパス@1と異なる大きなパス@kを持つチェックポイントは、トレーニング後のパフォーマンスが異なる。 さらに、教師付き事前トレーニング中に、パス@kピークが異なるチェックポイントで表示され、トレーニングの過程でカバレッジ-信頼性のトレードオフが明らかになる。 そこで本研究では,(1)クローズドループ評価を伴わずにカバレッジと信頼性のバランスをとる純粋オフラインチェックポイント選択基準,(2)有限デモセットを超えて監督を拡大する生成データ拡張手順,(2)パス@1の維持・改善,および観測されたカバレッジ信頼度Paretoフロンティアの上昇という2つの実践的介入を提案する。 本研究は, 評価, チェックポイント選択, トレーニング手順のモチベーションとなる。 ブログ投稿、視覚化、コードはhttps://zhanyisun.github.io/robot-policy-learning-dynamics/で入手できる。

関連論文リスト

• D&A: Decoupling Description and Assessment Enables VLMs as Zero-Shot Robotic Reward Models [25.46173179160159]
  我々は,D&A (Describe & Assess) を導入し,提案手法は進捗予測を,シーンダイナミクスのタスクグラウンドによるテキスト記述と,明示的なルーリックを用いた評価フェーズに分解する。 VLMは、スコアの前に明確なテキストベースの絶対成功の定義を合成することで、ビデオの内部タイムラインではなく、外部のグローバルな基準に評価を固定する。 実験の結果,提案手法はゼロショット推定を校正し,確認バイアスを軽減し,失敗を正確に補償し,正常に動作を補間する細粒度部分進行測定値を提供することがわかった。
  論文  参考訳（メタデータ） (2026-11-02T18:52:11Z)
• xPRT: Cross-Passage Retrieval Pretraining [5.04301049844329]
  xPRT(Cross-Passage Retrieval Pretraining)は、ドキュメント全体に分散するキー情報から学習する、教師なしのフレームワークである。 我々は, MTEB English v2の5つの最先端目標に対してxPRTを評価し, 公開チェックポイントからの事前訓練を継続する。
  論文  参考訳（メタデータ） (2026-10-29T14:18:02Z)
• Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
  エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
  論文  参考訳（メタデータ） (2026-10-07T17:37:19Z)
• Reinforcement Learning via Implicit Imitation Guidance [49.88208134736617]
  自然なアプローチは、訓練中の正規化や参照ポリシーの取得など、模倣学習の目的を取り入れることである。 提案手法では,条件に付加されたノイズによる探索を導出するための先行データのみを用いて,明示的な行動クローニング制約の必要性を回避することを提案する。 提案手法は、7つの模擬連続制御タスクにまたがるオフライン手法による事前強化学習よりも最大2～3倍向上する。
  論文  参考訳（メタデータ） (2025-06-09T07:32:52Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)
• FUSSL: Fuzzy Uncertain Self Supervised Learning [8.31483061185317]
  自己教師付き学習(SSL)は、アノテーションを使わずにラベルなしデータのパワーを活用するための、非常に成功した技術になっています。 本稿では,単一スーパーバイザ信号の使用によるSSLの基本的限界を初めて認識する。 SSLベースラインに対して,堅牢で汎用的な階層型学習/学習プロトコルを提案する。
  論文  参考訳（メタデータ） (2022-10-28T01:06:10Z)
• Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
  そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。 幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
  論文  参考訳（メタデータ） (2022-08-19T19:42:41Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。