論文の概要: Does Validation Loss Predict Real-Robot Success? Evidence from Four Imitation-Learning Policies on a Low-Cost Arm

• arxiv url: http://arxiv.org/abs/2611.00283v1
• Date: Fri, 30 Oct 2026 19:05:01 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:58:25.90537
• Title: Does Validation Loss Predict Real-Robot Success? Evidence from Four Imitation-Learning Policies on a Low-Cost Arm
• Title（参考訳）: バリデーションは実際のロボットの成功を予測するか? 低コストアーム上の4つの模擬学習ポリシーによる証拠
• Abstract要約: ヘルドアウト検証損失は、チェックポイントを選択するための標準的なオフライン信号である。 ACT、拡散政策、SmolVLA、および$_0.5$(アクションエキスパートのみ)について測定する。 25のホールトアウトデモで82のチェックポイントを記録し、各ポリシのトレーニング損失と、出力するアクションのエラーを判定する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Held-out validation loss is the standard offline signal for choosing checkpoints and comparing models, but its relation to closed-loop success on a real robot is rarely measured. We measure it for ACT, Diffusion Policy, SmolVLA and $π_{0.5}$ (action expert only), trained on nested subsets of 12 to 200 demonstrations of a pick-and-place task on an SO-101 arm. We score 82 checkpoints on 25 held-out demonstrations, with each policy's training loss and with the error of the actions it outputs, and compare the scores with 930 bench rollouts. We also score all 700 intermediate checkpoints of 70 training runs, and recover the ball positions of every training, held-out and bench episode from the front camera. Within each policy, hold-out action error correlates with bench success (Spearman $ρ$ from -0.23 to -0.88), but no more strongly than the number of training episodes alone, and not at all among seeds trained on the same data. Across policies the ranking is inverted ($ρ$ = +0.90 at 200 episodes): the policy with the lowest hold-out error succeeded in 3 of 110 rollouts. The most common failure, the arm never leaving its rest pose, ended 96% of rollouts for Diffusion Policy trained on untrimmed demonstrations and 47% for SmolVLA, and cannot occur in a hold-out set made of demonstrations. Among rollouts in which the arm moved, SmolVLA's hold-out action error predicts success well ($ρ$ = -0.81). For the diffusion and flow-matching policies, hold-out loss rises two- to five-fold during training while hold-out action error falls by up to 29%. Held-out metrics are a sound diagnostic of learning but no substitute for evaluation on the robot, and we recommend reporting initiation failure and success among started rollouts as separate bench outcomes.
• Abstract（参考訳）: ヒードアウト検証損失は、チェックポイントを選択してモデルを比較するための標準的なオフライン信号であるが、実際のロボットにおけるクローズループ成功との関係は、ほとんど測定されない。 また, ACT, Diffusion Policy, SmolVLA および $π_{0.5}$ (アクションエキスパートのみ) で測定し, SO-101 アーム上でのピック・アンド・プレイス・タスクの12～200個のデモのネストしたサブセットをトレーニングした。 25回のホールアウトデモで82のチェックポイントを獲得し、各ポリシのトレーニング損失と、出力するアクションのエラーを判定し、スコアを930のベンチロールアウトと比較した。 また,70回のトレーニングで700回の中間チェックポイントを全て獲得し,フロントカメラから各トレーニング,ホールトアウト,ベンチエピソードのボール位置を復元する。 各ポリシーでは、ホールドアウトアクションエラーはベンチの成功と相関する(Spearman $ρ$ from -0.23 to -0.88)が、トレーニングエピソードの回数だけでは十分ではない。 ランキングは逆(200話でρ$ = +0.90)で、最小のホールドアウト誤差を持つポリシーは110回中3回成功している。 最も一般的な失敗は、アームが余分なポーズをとらず、未熟なデモンストレーションで訓練された拡散政策のロールアウトの96%が終了し、SmolVLAで47%が失敗し、デモで作られたホールドアウトセットでは起こり得なかった。 腕を動かしたロールアウトの中で、SmolVLAのホールドアウトアクションエラーは成功をうまく予測する(ρ$ = -0.81)。 拡散とフローマッチングのポリシーでは、ホールドアウトの損失はトレーニング中に2倍から5倍に増加し、ホールドアウトのアクションエラーは最大29%減少する。 ヒードアウトメトリクスは学習の健全な診断であるが,ロボットに対する評価には代わるものではない。

関連論文リスト

• Rollout then Recycle: 3,718 Labelled Real-Robot Episodes from Benchmarking 7 Policies on 12 Tasks [0.22940141855172033]
  我々はArmnetBench v0.1の評価から3,718エピソードを全てリリースする。 このノートには、エピソードがどのように収集され、それらの使用に影響を及ぼす可能性のある制限が記載されている。
  論文  参考訳（メタデータ） (2026-11-02T14:08:08Z)
• Auriga Technical Report: A Task-Agnostic Agent Harness for Zero-Shot Embodied Manipulation [62.55752327741587]
  RoboDojoでは、大きな計画と実行のギャップが、高レベルのタスク決定と物理的実行を分離します。 目標タスクやリセットを伴わないゼロショット操作において,このギャップの68.3%を埋めるタスク非依存のエージェントハーネスであるAurigaを紹介する。
  論文  参考訳（メタデータ） (2026-10-31T16:59:05Z)
• From 12 to 200 Demonstrations: How ACT, Diffusion Policy, SmolVLA and $π_{0.5}$ Scale on a Low-Cost Arm [0.0]
  われわれは,12,25,50,100,200回の遠隔操作実験において,広く使用されている4つの模倣学習政策であるACT,拡散政策,SmolVLA,$_0.5$を訓練した。 訓練された全てのモデルは、固定されたオブジェクト配置上の物理的なSO-101アーム上で実行された。
  論文  参考訳（メタデータ） (2026-10-27T12:57:43Z)
• MiRL: Error-Targeted Reinforcement Learning for Correcting Terminal Agent Misbehaviors [56.21718763415641]
  命令シェルと対話することで、自然言語で特定される長期タスクを解決する端末エージェントにエラー対象学習を適用する方法について検討する。 本研究では、まず、一般化可能な誤動作を見つけるためのポリシーの誤りをプロファイルするMisbehavior-driven RL(MiRL)を提案する。 その後、MiRLはRLでポリシーをトレーニングし、これらの不正行為が発生するステップでロールアウトを開始し、テストに合格して不正行為を避ける場合にのみロールアウトを報奨する。
  論文  参考訳（メタデータ） (2026-10-26T16:25:05Z)
• LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts [56.21252928632393]
  LoopWAMは、現実世界のロールアウトから直接学習するクローズドループの世界アクションモデルである。 音源依存ノイズサンプリングは行動学習と行動条件付き世界モデリングを統合する。 ビデオトークンとアクショントークンは並列denoisingを通じて相互作用し、学習結果がアクション生成を直接通知する。
  論文  参考訳（メタデータ） (2026-10-13T17:59:56Z)
• Mulligan: Performance-Guided Data Collection for Efficient On-Robot Learning [49.96968347002295]
  人間のデモから学ぶことは、ロボットに新しいタスクを教えるための信頼できる方法だが、ポリシーが改善するにつれて、追加のデモから得られる利益は減少する。 我々は、高精度な操作タスクにおいて、監督エピソードの固定予算から改善を最大化する方法を問う。 フェールが初期状態の小さなサブセットに集中できることを観察するため、均一なコレクションは、ポリシーがすでに処理している状態にオペレータの時間の大部分を費やします。
  論文  参考訳（メタデータ） (2026-10-05T06:56:13Z)
• Anatomy of a Closed-Loop Collapse: A Causal Case Study of a Compressed VLA Policy [0.0]
  圧縮された操作ポリシーは、クローズドループ実行中にオフライン評価をパスすることができる。 自然発生症例の因果解剖に寄与する。 最小ペアの介入は、トレーニングストリームの半分を配置配信の教師ロールアウトに置き換える。
  論文  参考訳（メタデータ） (2026-09-19T14:29:25Z)
• WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
  WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。 アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。 凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
  論文  参考訳（メタデータ） (2026-08-10T11:22:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。