論文の概要: Dream2Reward: Transition-Alignment Reward Models from Positive Demonstrations for Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2608.18787v1
• Date: Wed, 19 Aug 2026 10:44:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.378988
• Title: Dream2Reward: Transition-Alignment Reward Models from Positive Demonstrations for Robotic Manipulation
• Title（参考訳）: Dream2Reward: ロボットマニピュレーションのための正の例からの遷移アライメント・リワードモデル
• Abstract要約: そこでDream2Rewardを紹介し,肯定的な実証から言語条件で成功した潜在遷移場を学習する。 観察結果が進行しているように見える場合でも、間違った方向、オーバーシューティング、停滞した動きを罰する。 オンラインとオフラインのポリシー学習全体において、同じフリーズ報酬モデルが報酬のハッキングを減らし、より強力な下流のパフォーマンスをサポートする。
• 参考スコア（独自算出の注目度）: 51.43645327777772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning robotic policies requires dense rewards that remain informative when behavior departs from successful demonstrations. Progress-based rewards estimate how far an observation has advanced along a nominal successful trajectory, but may remain high after an incorrect transition. We introduce Dream2Reward, which learns a language-conditioned successful latent transition field from positive demonstrations. Given the visual history up to a transition start, the model predicts the latent displacement associated with successful execution and scores the observed displacement through signed directional and symmetric magnitude agreement. This transition-level comparison penalizes wrong-direction, overshooting, and stagnant motion even when the resulting observation appears to show progress. Dream2Reward requires no failure annotations, progress labels, or synthetic negatives, and produces a dense causal reward. Across mechanism diagnostics and shared-trajectory evaluations, it provides stronger success-failure separation and more informative feedback on low-quality behavior than progress-based alternatives. Across online and offline policy learning, the same frozen reward model reduces reward hacking and supports stronger downstream performance, including in real-robot manipulation. These results show that comparing realized motion with predicted successful change provides an effective way to convert positive demonstrations into dense rewards for robot learning.
• Abstract（参考訳）: ロボットポリシーを学ぶには、行動が成功したデモから離れても情報に残るような深い報酬が必要である。 進歩に基づく報酬は、観測が名目上成功した軌道に沿ってどこまで進んだかを推定するが、誤った遷移の後も高いままである。 そこでDream2Rewardを紹介し,肯定的な実証から言語条件で成功した潜在遷移場を学習する。 遷移開始までの視覚的履歴が与えられた場合、モデルは実行の成功に伴う潜時変位を予測し、符号付き方向および対称等級の合意によって観測された変位をスコアする。 この遷移レベル比較は、結果の観察が進行しているように見える場合でも、間違った方向、オーバーシュート、停滞した動きを罰する。 Dream2Rewardは、失敗アノテーション、プログレスラベル、合成陰性を必要としない。 メカニズムの診断と共有軌道評価を通じて、成功と失敗の分離が強くなり、進歩に基づく代替手段よりも低品質な振る舞いに対する情報的なフィードバックが得られます。 オンラインとオフラインのポリシー学習全体を通じて、同じ凍結報酬モデルが報酬のハッキングを減らし、実際のロボット操作を含むより強力な下流のパフォーマンスをサポートする。 これらの結果から,実写動作と予測された成功率の変化を比較することで,ポジティブなデモンストレーションをロボット学習の高密度報酬に変換する効果的な方法が示唆された。

関連論文リスト

• Long-Horizon Language Model Reinforcement Learning via Progressive Point Matching [70.73681123064533]
  単純で偏りのない厳密な報酬の定式化(プログレッシブ・ポイントマッチング)は、長い水平タスクに対して指数関数的に効率良くスケールする。 非常に難しい数学推論問題では、粗末な結果報酬は進歩することができないが、セグメントレベルの報酬はより大きなテストタイムトークン予算の改善を可能にする。
  論文  参考訳（メタデータ） (2026-09-07T10:21:41Z)
• Phase-and-First-Arrival VLM Feedback for Sparse-Reward Reinforcement Learning in Surgical Manipulation [18.513281440175113]
  スパース・リワード強化学習では、終末報酬は同じ結果にそのような試みが崩壊する。 記録されたエピソードごとの1つのVLMクエリは、最も視覚的に検証されたタスクフェーズを識別する。 5つのシミュレートされたタスクにおいて,提案手法は平均75.2%に到達し,コントラスト言語-画像事前学習に基づく報酬は52.1%となった。
  論文  参考訳（メタデータ） (2026-09-07T08:29:59Z)
• Progress Reward Modeling for Robotic Learning: A Comprehensive Survey [18.0494714278744]
  端末成功信号は、タスクが完了したかどうかのみロボットに通知する。 近年、タスク実行中にフィードバックを提供する進捗報酬について研究が進んでいる。 既存の方法は、異なる観測、目標仕様、出力信号、監督源、評価プロトコルを使用する。 これにより、それらを比較して、結果が実際に何を検証するのかを理解するのが難しくなります。
  論文  参考訳（メタデータ） (2026-07-22T19:29:52Z)
• DenseReward: Dense Reward Learning via Failure Synthesis for Robotic Manipulation [67.08835970838996]
  強化学習は模倣学習の限界を超えてロボットポリシーを改善するための大きな約束である。 2つの重要な課題は、さまざまな障害データを大規模に取得し、スパース軌道レベルの成功ラベルを超えて、きめ細かい報酬信号を取得することである。 両課題に対処する高密度ロボット報酬モデルであるDenseRewardを紹介した。
  論文  参考訳（メタデータ） (2026-07-14T17:59:29Z)
• Stage-Transition Dense Reward Modeling for Reinforcement Learning [22.634812963829194]
  長距離ロボット操作のための強化学習は、しばしばスパースと遅延報酬によって制限される。 この研究は、未構造化のエキスパートビデオから論理的に根拠の深い報酬に変換し、RLエージェントをゼロから訓練するための視覚的な報酬学習フレームワークであるStage-Transition Dense Reward (STDR)を提案する。 STDRは、オンライントレーニング中に2つの補完的な学習信号を提供する: (i)目標指向の報酬を提供する段階遷移フィードバック、(ii)各段階の完了に向けた詳細なガイダンスを提供する段階内進捗フィードバック。
  論文  参考訳（メタデータ） (2026-06-30T09:07:19Z)
• Beyond Monotonic Progress: Retry-Supervised Value Learning for Robot Imitation [38.88183703128359]
  混在型ロボットのデモから誤検知値関数を学習するフレームワークであるReTVL(ReTry-Supervised Value Learning)を提案する。 ReTVLは、グローバルプログレスキャリブレーションとローカルなペアワイズ選好学習を組み合わせることで、ミスに伴う局所的な劣化・回復構造をキャプチャする。 実ロボット操作タスクの実験では、ReTVLは進捗ベースのベースラインよりもよりきめ細かな値推定を生成する。
  論文  参考訳（メタデータ） (2026-06-23T14:27:10Z)
• Perfect Demo Makes Poor Teacher: Learning Robust Alignment from Critical Motion Segments [53.85970147743299]
  専門家によるデモンストレーションは、ロボット模倣学習における金の標準であると広く考えられている。 しかし、挿入、積み重ね、アライメントなどのきめ細かい操作のために、私たちは直感的な失敗モードを発見しました。 視覚言語モデルとアクションエキスパートをブリッジする,コンパクトな動的特徴であるSTAIRを導入する。
  論文  参考訳（メタデータ） (2026-06-14T04:15:29Z)
• From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
  将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。 我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2026-05-12T14:15:16Z)
• ProgressVLA: Progress-Guided Diffusion Policy for Vision-Language Robotic Manipulation [57.07494675832939]
  ロボット操作のための既存の視覚言語アクション(VLA)モデルは、進歩意識を欠いている。 本研究では,textbf vla という新しいモデルを提案し,タスク進捗の推定と統合について検討する。 CALVINとLIBEROベンチマークの実験は、実世界のロボットの展開とともに、成功率の大幅な改善を一貫して示している。
  論文  参考訳（メタデータ） (2026-03-29T12:38:11Z)
• Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
  我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。 学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-10-02T09:55:26Z)
• Social NCE: Contrastive Learning of Socially-aware Motion Representations [87.82126838588279]
  実験結果から, 提案手法は最近の軌道予測, 行動クローニング, 強化学習アルゴリズムの衝突速度を劇的に低減することがわかった。 本手法は,ニューラルネットワークの設計に関する仮定をほとんど示さないため,神経運動モデルのロバスト性を促進する汎用的手法として使用できる。
  論文  参考訳（メタデータ） (2020-12-21T22:25:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。