論文の概要: Beyond Monotonic Progress: Retry-Supervised Value Learning for Robot Imitation

• arxiv url: http://arxiv.org/abs/2606.24633v1
• Date: Tue, 23 Jun 2026 14:27:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:49.01574
• Title: Beyond Monotonic Progress: Retry-Supervised Value Learning for Robot Imitation
• Title（参考訳）: モノトニック・プログレスを超えて:ロボット模倣のためのリトライ・スーパーバイザード・バリューラーニング
• Abstract要約: 混在型ロボットのデモから誤検知値関数を学習するフレームワークであるReTVL(ReTry-Supervised Value Learning)を提案する。 ReTVLは、グローバルプログレスキャリブレーションとローカルなペアワイズ選好学習を組み合わせることで、ミスに伴う局所的な劣化・回復構造をキャプチャする。 実ロボット操作タスクの実験では、ReTVLは進捗ベースのベースラインよりもよりきめ細かな値推定を生成する。
• 参考スコア（独自算出の注目度）: 38.88183703128359
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human demonstrations for robot imitation learning often contain mistakes and corrective behaviors, such as imprecise grasps, object misalignment, unstable contact, and repeated attempts. While these segments are commonly treated as noisy or suboptimal data, they provide valuable evidence about when execution deviates from a desirable path and how task feasibility can be restored. However, existing reward and value models often rely on monotonic progress assumptions, which capture coarse task advancement but may overlook local execution errors and corrective behaviors in imperfect demonstrations. In this work, we propose ReTVL (ReTry-Supervised Value Learning), a framework for learning mistake-sensitive value functions from mixed-quality robot demonstrations by leveraging retry events as sparse supervision. ReTVL captures the local degradation-and-recovery structure around mistakes by combining global progress calibration with local pairwise preference learning induced by sparsely annotated retry keypoints. The learned value model is then used to reweight demonstration chunks for downstream behavior cloning, reducing the influence of harmful execution errors while preserving useful corrective behaviors. Experiments on real-robot manipulation tasks show that ReTVL produces more fine-grained value estimates than progress-based baselines and improves imitation learning from imperfect demonstrations.
• Abstract（参考訳）: ロボット模倣学習のための人間の実演には、不正確な把握、物体の修正、不安定な接触、繰り返しの試みなどの誤りや修正行動が含まれることが多い。 これらのセグメントは、一般的にノイズや準最適データとして扱われるが、実行が望ましい経路から逸脱し、どのようにタスクの実現性を取り戻すかについて、貴重な証拠を提供する。 しかし、既存の報酬と価値モデルは、粗いタスクの進行をキャプチャする単調な進捗仮定に頼っていることが多いが、不完全な実演において局所的な実行エラーや修正行動を見落としてしまうことがある。 本研究では,リトライイベントをスパース・インスペクションとして活用して,複合品質ロボットのデモから誤り感値関数を学習するフレームワークであるReTVLを提案する。 ReTVLは、大域的な進行校正と、わずかに注釈付けされたリトライキーポイントによって引き起こされる局所的なペアワイズ選好学習を組み合わせることで、誤りを伴う局所的な劣化・回復構造をキャプチャする。 学習された価値モデルは、ダウンストリームの振る舞いクローンのデモチャンクの重み付けに使用され、有害な実行エラーの影響を低減し、有効な修正行動を保存する。 実ロボット操作タスクの実験では、ReTVLはプログレスベースベースラインよりもきめ細かな値推定をし、不完全なデモンストレーションから模倣学習を改善する。

関連論文リスト

• RoboDrop: Curating VLA Post-Training Data via Local Gradient Compatibility [17.469738521824905]
  データキュレーションフレームワークであるtextscRoboDropを導入し、トレーニング軌道に沿って測定された局所的な勾配互換性を用いて監督を監査する。 我々は,RoboDropを制御された観測行動の破損,シミュレーションにおける自然な準最適実証,および非専門的なコレクションエラーを含む実ロボットデータセットで評価した。
  論文  参考訳（メタデータ） (2026-09-09T10:55:10Z)
• FLARE: A Failure-Aware Framework for Autonomous Correction and Recovery in Visual-Language Robotic Manipulation [43.89036551517797]
  VLA(Vision-Language-Action Models)は、複雑な長距離ロボット操作タスクへの一般化において、大きな可能性を証明している。 彼らのパフォーマンスは、通常、軌道単調で障害のないデモンストレーションで訓練されるため、不安定なままである。 我々は、リトライとリセットのパラダイムを通じて、堅牢なエラー回復機能を備えたVLAを実現する新しいフレームワークであるFLAREを提案する。
  論文  参考訳（メタデータ） (2026-08-27T05:58:06Z)
• Dream2Reward: Transition-Alignment Reward Models from Positive Demonstrations for Robotic Manipulation [51.43645327777772]
  そこでDream2Rewardを紹介し,肯定的な実証から言語条件で成功した潜在遷移場を学習する。 観察結果が進行しているように見える場合でも、間違った方向、オーバーシューティング、停滞した動きを罰する。 オンラインとオフラインのポリシー学習全体において、同じフリーズ報酬モデルが報酬のハッキングを減らし、より強力な下流のパフォーマンスをサポートする。
  論文  参考訳（メタデータ） (2026-08-19T10:44:20Z)
• DenseReward: Dense Reward Learning via Failure Synthesis for Robotic Manipulation [67.08835970838996]
  強化学習は模倣学習の限界を超えてロボットポリシーを改善するための大きな約束である。 2つの重要な課題は、さまざまな障害データを大規模に取得し、スパース軌道レベルの成功ラベルを超えて、きめ細かい報酬信号を取得することである。 両課題に対処する高密度ロボット報酬モデルであるDenseRewardを紹介した。
  論文  参考訳（メタデータ） (2026-07-14T17:59:29Z)
• World Action Models Enable Continual Imitation Learning with Recurrent Generative Replays [20.499876853160206]
  世界行動モデル(WAM)は将来の視覚的観察を生成することができる。 Recurrent Generative Replay (REGEN)を提案するために,この生成機能を活用している。 REGENは、以前のタスク命令と現在のタスク観察にのみ条件付けられた擬似再生軌道を合成する。
  論文  参考訳（メタデータ） (2026-06-25T17:59:56Z)
• Delay, Plateau, or Collapse: Evaluating the Impact of Systematic Verification Error on RLVR [23.784808278172164]
  検証リワード(RLVR)を用いた強化学習における系統的検証誤差の影響について検討する。 その結果,従来の結論とは対照的に,現実的な検証誤差はRLVRの結果を批判的に形作ることができた。
  論文  参考訳（メタデータ） (2026-04-06T15:02:52Z)
• Learning Actionable Manipulation Recovery via Counterfactual Failure Synthesis [21.197844940385725]
  現在の障害学習パラダイムは、コストと安全性の低い実世界のデータ収集か、シミュレータベースの摂動に依存している。 このフレームワークは,実世界の実演を成功させるのから直接,フォトリアリスティックでファクトファクトファクトのロールアウトを合成するものだ。 生成の世界モデル内でアクションを摂動させることで、Dream2Fixはシミュレータに頼ることなくペアの失敗言語データを生成する。
  論文  参考訳（メタデータ） (2026-03-13T19:02:58Z)
• Attribution-Guided Model Rectification of Unreliable Neural Network Behaviors [60.06461883533697]
  我々は、ランクワンモデル編集を活用して、帰属誘導モデル修正フレームワークを確立する。 まず、既存のモデル編集と整合性の設定を区別し、信頼性の低い振る舞いを補正する定式化を行う。 そこで本研究では, 帰属誘導層ローカライゼーション手法を提案する。
  論文  参考訳（メタデータ） (2026-03-08T01:06:07Z)
• Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
  ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。 連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。 複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
  論文  参考訳（メタデータ） (2026-02-04T05:37:09Z)
• Learning from Demonstrations via Capability-Aware Goal Sampling [12.442790487354742]
  Cago(カゴ)は、専門家の軌道への不安定な依存を軽減し、直接の模倣を行うための学習から学ぶ方法である。 Cagoはスパース・リワード・ゴール条件付きタスクの範囲で,サンプル効率と最終性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-01-13T17:03:31Z)
• CycleVLA: Proactive Self-Correcting Vision-Language-Action Models via Subtask Backtracking and Minimum Bayes Risk Decoding [60.06899554269808]
  サイクロンVLA(CycleVLA)は、VLA(Vision-Language-Action Model)を積極的に自己補正するシステムである。 CycleVLAは、重要なサブタスク遷移ポイントにフラグを付けるプログレス対応のVLAを統合することで、これを実現する。 大規模な実験により、CycleVLAは、よく訓練されたVLAと訓練されていないVLAの両方のパフォーマンスを改善することが示された。
  論文  参考訳（メタデータ） (2026-01-05T17:31:01Z)
• Beyond Observations: Reconstruction Error-Guided Irregularly Sampled Time Series Representation Learning [38.869433924831156]
  iTimERはISTS表現学習のための自己教師型フレームワークである。 観測されていないタイムスタンプをノイズ対応トレーニングターゲットに変換し、意味のある再構築信号を可能にする。 iTimERは、ISTS設定下での最先端メソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2025-11-10T08:53:10Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。