論文の概要: Event2Reward: Learning Robotic Rewards from Progress Relations

• arxiv url: http://arxiv.org/abs/2610.39212v1
• Date: Thu, 29 Oct 2026 02:34:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.449372
• Title: Event2Reward: Learning Robotic Rewards from Progress Relations
• Title（参考訳）: Event2Reward: 進捗関係からロボットリワードを学習する
• Abstract要約: Event2Rewardは、正規化された時間ラベルを使って進捗スケールと軌道内関係を固定し、局所的な変化を制限します。 Event2Rewardは、スパースタスク報酬のみを使用して、ベースライン上の平均ポリシー成功率を18.16ポイント改善する。 実際のロボットでは、30分間のウォールクロックトレーニング後の平均成功率は、3つの正確な挿入タスクで60.0%、そして3つのオブジェクト操作タスクで90.0%に達する。
• 参考スコア（独自算出の注目度）: 44.169697821523776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning task progress from robot demonstrations provides a practical way to construct dense shaping rewards for robotic reinforcement learning. A common approach uses normalized demonstration time as progress labels, implicitly assuming monotonically increasing task progress. During policy exploration, however, actual task progress can stall or even regress. Such models may mistake regressions for progress, assigning positive shaping rewards to actions that cause progress loss. Real suboptimal and failed executions offer corrective experience, but assigning absolute progress values to their states is difficult. Our key observation is that stalls, regressions, and recoveries establish local relative progress relations even when absolute progress is unknown. We introduce Event2Reward, which uses normalized temporal labels to anchor the progress scale and these within-trajectory relations to constrain local changes, combining absolute and relative progress supervision. Its progress predictions serve as potentials for reward shaping. We curate an event-annotated dataset from approximately 100K raw real-robot execution records, covering successful, suboptimal, and failed executions, without requiring framewise absolute progress labels. Under the same training budgets, Event2Reward improves average policy success by 18.16 percentage points over a baseline using only sparse task rewards across 40 tasks in four LIBERO suites. On real robots, average success after 30 minutes of wall-clock training reaches 60.0% on three precise insertion tasks and 90.0% on three object manipulation tasks, exceeding the sparse-reward baseline under the same budget by 36.7 and 23.3 percentage points, respectively. Ablation studies further show that absolute progress supervision and relative progress relations are complementary, with joint supervision yielding better downstream policy learning.
• Abstract（参考訳）: ロボットのデモンストレーションからタスクの進捗を学習することは、ロボット強化学習のための密な形状の報酬を構築するための実践的な方法を提供する。 一般的なアプローチでは、正規化されたデモタイムを進捗ラベルとして使用し、暗黙的にタスク進捗を単調に増加させる。 しかし、政策調査中は、実際のタスクの進行が停滞したり、後退することもある。 このようなモデルは、進捗の回帰を間違えて、前向きな形成報酬を進行損失を引き起こすアクションに割り当てる。 実際の最適化と実行失敗は修正経験を提供するが、その状態に絶対的な進捗値を割り当てることは困難である。 我々のキーとなる観察は、絶対進行が不明な場合でも、停止、回帰、回復が局所的な相対進行関係を確立することである。 Event2Rewardは、正規化された時間ラベルを用いて進捗尺度をアンロックし、これらの軌道内関係によって局所的な変化を制限し、絶対的および相対的な進捗監視を組み合わせる。 その進歩予測は報酬形成の可能性がある。 約100Kの生の実ロボット実行レコードからイベントアノテートされたデータセットをキュレートし、フレーム的に絶対的な進捗ラベルを必要とせず、成功、最適、そして失敗した実行をカバーした。 同じトレーニング予算の下で、Event2Rewardは4つのLIBEROスイートで40タスクにまたがる細かなタスク報酬のみを使用して、ベースライン上で平均的な政策成功率を18.16ポイント改善している。 実際のロボットでは、3つの正確な挿入作業で30分後の平均成功率は60.0%に達し、3つのオブジェクト操作タスクで90.0%に達し、それぞれ同じ予算でスパースリワードベースラインを36.7ポイント、23.3ポイント越えている。 アブレーション研究により、絶対進行監督と相対進行関係は相補的であり、共同監督はより下流の政策学習をもたらすことが示されている。

関連論文リスト

• ProLoop: Progress-Aware Closed-Loop Framework via Structured State Relations for Long-Horizon Robotic Task Planning [6.489112953922867]
  ProLoopはプログレッシブ・アウェアのクローズド・ループ・フレームワークで、要求状態と実行状態の間の構造化関係から明確なサブゴナル・プログレッシブを導出する。 実験の結果、ProLoopは全体の成功率を12.94%、ハードタスクを15.46%改善し、環境相互作用を32.3%削減した。
  論文  参考訳（メタデータ） (2026-10-29T04:03:15Z)
• RoboLongR: Causally Consistent Rewards Teach Robots to Progressively Master Long-Horizon Manipulation [27.89512166525044]
  ロングホライゾン操作は、以前の相互作用に依存している行動を必要とするが、視覚的な進歩は、タスクの前提条件の欠如を隠蔽する可能性がある。 我々は,新しいタスクへのポリシー適応を導くために,履歴に依存した報酬を学習するオフライン-オンラインフレームワークであるRoboLongRを提案する。
  論文  参考訳（メタデータ） (2026-10-24T19:07:21Z)
• Not All Actions Contribute Equally: Learning Precise Progress Estimation from Imprecise Demonstrations [52.85692927198773]
  本研究では,不正確な実演から精度の高い進捗推定を学習できる新しい進捗推定器PRIMEを提案する。 PRIMEは多種多様なタスクに対して一貫して有効であり、様々な準最適度を持つデータに対して堅牢であることを示す。 特に、PRIMEの利点は、より高精度なシナリオでより顕著になり、政策の成功率を最大5倍に向上させる。
  論文  参考訳（メタデータ） (2026-10-16T17:07:39Z)
• Robota-Embed: Unified VLA Embeddings for Robot In-Context Learning and Evolution [90.448613284096]
  ロボット・エンベッド(Robota-Embed)を導入し、現在のクエリと記録された将来の継続の両方において、3つのモダリティを共同で符号化する最初の視覚言語アクション埋め込みモデルについて紹介する。 我々は,1,695,684個のトレーニングアンカーを複数ソースで構築し,4000のクエリと8000のギャラリーの共有を備えたRobota-Embed-Benchを紹介した。 Robota-Embedは47.33%のクリップレベルと81.77%のエピソードレベルのR@1を達成した。
  論文  参考訳（メタデータ） (2026-10-14T03:15:23Z)
• LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts [56.21252928632393]
  LoopWAMは、現実世界のロールアウトから直接学習するクローズドループの世界アクションモデルである。 音源依存ノイズサンプリングは行動学習と行動条件付き世界モデリングを統合する。 ビデオトークンとアクショントークンは並列denoisingを通じて相互作用し、学習結果がアクション生成を直接通知する。
  論文  参考訳（メタデータ） (2026-10-13T17:59:56Z)
• Behavior-Aligned Action Tokenization for Robot Policy Learning [9.37360970873363]
  自己回帰型ロボットポリシーは、観察から個別のアクショントークンを予測することによって、継続的な制御を学習する。 本研究では,対応する動作チャンクを選択し,その量子化座標を再構成とともに整列させる行動適応型行動トークン化(BAAT)を提案する。 履歴条件付き拡散復号器はこれらのトークンから連続的なアクションチャンクを再構成し、下流の自己回帰ポリシーはそれらを予測することを学ぶ。
  論文  参考訳（メタデータ） (2026-09-23T08:12:03Z)
• ProgressVLA: Progress-Guided Diffusion Policy for Vision-Language Robotic Manipulation [57.07494675832939]
  ロボット操作のための既存の視覚言語アクション(VLA)モデルは、進歩意識を欠いている。 本研究では,textbf vla という新しいモデルを提案し,タスク進捗の推定と統合について検討する。 CALVINとLIBEROベンチマークの実験は、実世界のロボットの展開とともに、成功率の大幅な改善を一貫して示している。
  論文  参考訳（メタデータ） (2026-03-29T12:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。