論文の概要: Learning from Mixed-Quality Deployment Experience for Robot Manipulation

• arxiv url: http://arxiv.org/abs/2609.29000v1
• Date: Thu, 24 Sep 2026 04:08:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.709655
• Title: Learning from Mixed-Quality Deployment Experience for Robot Manipulation
• Title（参考訳）: ロボットマニピュレーションのための混合品質展開体験からの学習
• Abstract要約: 本研究では,ロボットポリシーの混合品質体験を活用するための予測行動チャンク学習を提案する。 PACLは、時間的に拡張されたアクションシーケンスを評価し、将来の潜伏予測で時間差学習を強化するチャンクレベルの批判を学習する。 実験の結果,PACLはトレーニング済みのポリシーを一貫して改善し,強力な模倣学習やオフライン強化学習のベースラインを上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 38.40191079621045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robot policies deployed in real environments naturally accumulate mixed-quality experience, including successful executions, partial progress, and failures. Although these rollouts provide valuable information for further learning, directly incorporating them into imitation learning may reinforce undesirable behaviors, while offline reinforcement learning often suffers from unreliable value estimation under sparse rewards and limited data coverage. We consider a practical post-deployment setting where learning relies only on naturally accumulated autonomous rollouts, without additional human corrections or exploratory interaction. To effectively exploit such experience, we propose Predictive Action Chunk Learning (PACL). PACL first learns a predictive chunk-level critic that evaluates temporally extended action sequences and augments temporal difference learning with future latent prediction, providing richer supervision for long-horizon value estimation. The learned critic then converts chunk-level Q-values into discrete quality conditions, which guide a diffusion actor to learn jointly from these mixed-quality experiences without treating all behaviors as equivalent supervision. At inference, the actor generates multiple action chunks and the critic selects the highest valued candidate. Experiments across simulated and real-world robot manipulation tasks show that PACL consistently improves the pretrained policy and outperforms strong imitation learning and offline reinforcement learning baselines.
• Abstract（参考訳）: 実際の環境にデプロイされたロボットポリシーは、実行の成功、部分的な進捗、失敗など、さまざまな品質のエクスペリエンスを自然に蓄積する。 これらのロールアウトは、さらなる学習に有用な情報を提供するが、模倣学習に直接組み込むことは、望ましくない行動を強化する可能性がある。 我々は,自然に蓄積した自律的なロールアウトにのみ学習が依存し,追加の人的修正や探索的相互作用を伴わない,実践的なポストデプロイ環境を考える。 このような経験を効果的に活用するために,予測行動チャンク学習(PACL)を提案する。 PACLはまず、時間的に拡張されたアクションシーケンスを評価し、将来の潜伏予測で時間差学習を強化する予測チャンクレベルの批判を学習する。 学習した批評家は、チャンクレベルのQ値を離散的な品質条件に変換することで、すべての振る舞いを同等の監視として扱うことなく、これらの混合品質経験から共同で学習するよう、拡散アクターに誘導する。 推測すると、アクターは複数のアクションチャンクを生成し、批評家は最も価値の高い候補を選択する。 シミュレーションおよび実世界のロボット操作タスクにおける実験により、PACLはトレーニング済みのポリシーを一貫して改善し、強力な模倣学習とオフライン強化学習ベースラインを上回っていることが示された。

関連論文リスト

• LAFP: Preserving Latent Action Structure in Latent Policy Learning via Flow Matching [15.922360971421654]
  スケーラブルな潜在ポリシー学習のための潜在アクションフローポリシー(LAFP)を提案する。 LAFPは、下流の模倣学習タスクにおいて、従来手法よりも一貫して優れている。 LAFPは1倍のオーバヘッドを発生させる。
  論文  参考訳（メタデータ） (2026-06-09T07:49:49Z)
• Learning with Rare Success but Rich Feedback via Reflection-Enhanced Self-Distillation [71.16738415436458]
  本稿では、生の障害フィードバックを補正管理のアクティブソースに変換するフレームワークであるReflection-Enhanced Self-Distillation(RESD)を紹介する。 RESDは、局所的なエラーを診断するために振り返りリフレクションを生成し、持続的なグローバルなプレイブックをキュレートすることで、障害の軌跡を解釈する。 複数の連続学習課題に対する実証的な評価は、RESDが標準の自己蒸留ベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-12T20:46:05Z)
• ALOE: Action-Level Off-Policy Evaluation for Vision-Language-Action Model Post-Training [15.70383059978939]
  本研究では,オンライン強化学習(RL)による大規模基盤視覚アクション(VLA)システムの改善方法について検討する。 実際には、値関数は異なるデータソースから収集された軌跡断片から推定される。 VLAポストトレーニングのためのアクションレベルオフポリシー評価フレームワークであるALOEを提案する。
  論文  参考訳（メタデータ） (2026-02-13T07:46:37Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• ExGRPO: Learning to Reason from Experience [82.83309610498446]
  検証可能な報酬(RLVR)からの強化学習は、大規模言語モデルの推論能力を改善するための新たなパラダイムである。 標準的なオンライントレーニングは、1回の更新後にロールアウトエクスペリエンスを捨て、計算の非効率性と不安定性につながる。 本稿では,まず,経験価値の効果的な指標であるロールアウトの正しさとエントロピーを考察する。
  論文  参考訳（メタデータ） (2025-10-02T17:31:30Z)
• Reward Prediction Error Prioritisation in Experience Replay: The RPE-PER Method [1.600323605807673]
  Reward Predictive Error Prioritised Experience Replay (RPE-PER)を紹介する。 RPE-PERは、RPEに基づいてバッファ内での経験を優先する。 本手法では,標準的な批評家ネットワークが生成するQ値に加えて,報酬を予測する批評家ネットワークであるEMCNを用いる。
  論文  参考訳（メタデータ） (2025-01-30T02:09:35Z)
• Seizing Serendipity: Exploiting the Value of Past Success in Off-Policy Actor-Critic [42.57662196581823]
  高品質な$Q$値関数の学習は、多くの現代のオフポリシーディープ強化学習(RL)アルゴリズムの成功に重要な役割を果たしている。 一般的な視点から考えると、RLトレーニングプロセスの後半段階では、$Q$-valueが過小評価されることが多い。 本稿では,Blended Exploitation and Exploration (BEE)演算子を提案する。
  論文  参考訳（メタデータ） (2023-06-05T13:38:14Z)
• Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning [96.72185761508668]
  テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。 IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T17:16:52Z)
• Persistent Reinforcement Learning via Subgoal Curricula [114.83989499740193]
  VaPRL(Value-accelerated Persistent Reinforcement Learning)は、初期状態のカリキュラムを生成する。 VaPRLは、エピソード強化学習と比較して、3桁の精度で必要な介入を減らす。
  論文  参考訳（メタデータ） (2021-07-27T16:39:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。