Fugu-MT 論文翻訳(概要): Robo-Dopamine 2.0: History-Conditioned and OOD-Aware Process Reward Modeling for Robotic Manipulation

論文の概要: Robo-Dopamine 2.0: History-Conditioned and OOD-Aware Process Reward Modeling for Robotic Manipulation

arxiv url: http://arxiv.org/abs/2608.15680v1
Date: Sun, 16 Aug 2026 11:15:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-18 19:59:03.383011
Title: Robo-Dopamine 2.0: History-Conditioned and OOD-Aware Process Reward Modeling for Robotic Manipulation
Title（参考訳）: Robo-Dopamine 2.0:ロボットマニピュレーションのための履歴記述およびOOD対応プロセスリワードモデリング
Abstract要約: 視覚言語アクション(VLA)モデルはロボット操作を改善するが、複雑なエラー、シーン変更、軌道外の状態に弱いままである。本稿では,Robo-Dopamine 2.0について紹介する。Robo-Dopamine 2.0は履歴とOODを意識したプロセス報酬モデルである。遷移対応リプレイ付きサインホップカリキュラムは、微粒化進行校正の前に粗い実行順序を学習する。
参考スコア（独自算出の注目度）: 33.9590213103263
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Vision-language-action (VLA) models improve robotic manipulation but remain vulnerable to compounding errors, scene changes, and off-trajectory states. Reinforcement learning can refine pretrained VLA policies, yet sparse success signals hinder exploration, while engineered dense rewards are costly and task-specific. Existing learned visual reward models often rely on static before-after observations, causing temporal ambiguity and weak discrimination between robustness-preserving variations and task-invalid failures under out-of-distribution (OOD) execution. We introduce Robo-Dopamine 2.0, a history- and OOD-aware process reward model with a pairwise prediction interface. It combines (1) history-conditioned pairwise rewards that use source-aligned reference panels for synthetic OOD queries and observed rollout history for online queries, while preserving the queried endpoints, and (2) an OOD-aware signed progress space that represents valid progress, robustness, failure, and recovery. A Signed-Hop Curriculum with transition-aware replay learns coarse execution ordering before fine-grained progress calibration. We also construct an OOD trajectory dataset and a five-family benchmark. Reference panels improve mean visual order consistency (VOC) from 0.967 to 0.986 and OOD-robust VOC from 0.906 to 0.958. With the same 400K pairwise-reward budget, Signed-Hop training with 25% replay reaches 0.9872 mean VOC, compared with 0.9858 for a matched-pool shuffled control. In downstream reinforcement learning, the full model achieves 86.8% mean RoboTwin success and 71/80 successful real-world insertions.
Abstract（参考訳）: 視覚言語アクション(VLA)モデルはロボット操作を改善するが、複雑なエラー、シーン変更、軌道外の状態に弱いままである。強化学習は、事前訓練されたVLAポリシーを洗練することができるが、わずかな成功は探索を妨げる。既存の学習された視覚報酬モデルは、しばしば静的な事前観測に依存しており、時間的曖昧さとロバスト性保存のバリエーションと、アウト・オブ・ディストリビューション(OOD)実行時のタスク非効率な失敗の間の弱い差別を引き起こしている。本稿では,Robo-Dopamine 2.0について紹介する。Robo-Dopamine 2.0は履歴とOODを意識したプロセス報酬モデルである。本研究は,(1)OODクエリのソースアラインレファレンスパネルとオンラインクエリのロールアウト履歴を利用した履歴条件付きペアワイズ報酬と,(2)有効な進捗,堅牢性,障害,回復を示すOOD対応の署名された進捗空間を組み合わせたものである。遷移対応リプレイ付きサインホップカリキュラムは、微粒化進行校正の前に粗い実行順序を学習する。また,OODトラジェクトリデータセットと5行ベンチマークを構築した。基準パネルは平均的な視覚的順序整合性(VOC)を0.967から0.986に改善し、OOD-robust VOCは0.906から0.958に改善した。同じ400K対逆の予算で25%リプレイのサインドホップトレーニングは平均VOC0.9872に達し、マッチプールシャッフル制御では0.9858となった。下流での強化学習では、全モデルの86.8%がRoboTwinの成功、71/80が実世界への挿入に成功した。

関連論文リスト

FailBench: How Reliable are VLMs at Judging Robot Task Success? [0.0]
FailBenchは、14の公開ソースにわたる2,197回の操作を含むロボット故障検出のベンチマークである。 FailBenchでは、75%の障害が自然に発生し、6つの実世界のソースが非障害検出データセットから発生している。
論文参考訳（メタデータ） (2026-09-03T09:58:55Z)
Dream2Reward: Transition-Alignment Reward Models from Positive Demonstrations for Robotic Manipulation [51.43645327777772]
そこでDream2Rewardを紹介し,肯定的な実証から言語条件で成功した潜在遷移場を学習する。観察結果が進行しているように見える場合でも、間違った方向、オーバーシューティング、停滞した動きを罰する。オンラインとオフラインのポリシー学習全体において、同じフリーズ報酬モデルが報酬のハッキングを減らし、より強力な下流のパフォーマンスをサポートする。
論文参考訳（メタデータ） (2026-08-19T10:44:20Z)
RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance [84.26294415726723]
汎用報酬モデルが、ロボット学習のスケーリングのボトルネックになりつつある。ロボット操作のためのオープンソースのバリューファンデーションモデルであるRynnValueを紹介した。 RynnValueは7000時間以上、好みやプログレッシブアノテーションなしで約3Mの命令条件付きクリップにスケールする。
論文参考訳（メタデータ） (2026-08-10T17:09:37Z)
DenseReward: Dense Reward Learning via Failure Synthesis for Robotic Manipulation [67.08835970838996]
強化学習は模倣学習の限界を超えてロボットポリシーを改善するための大きな約束である。 2つの重要な課題は、さまざまな障害データを大規模に取得し、スパース軌道レベルの成功ラベルを超えて、きめ細かい報酬信号を取得することである。両課題に対処する高密度ロボット報酬モデルであるDenseRewardを紹介した。
論文参考訳（メタデータ） (2026-07-14T17:59:29Z)
Feat2Go: Visual Feature-Grounded Value Estimation for Embodied Reinforcement Learning [14.672595536029503]
Feat2Goは、具体的強化学習のためのきめ細かい値推定フレームワークである。 Feat2Goは、シングルアームとバイマニュアルの操作設定の両方で既存のVLAモデルの性能を一貫して改善する。
論文参考訳（メタデータ） (2026-05-29T03:36:33Z)
TOPReward: Token Probabilities as Hidden Zero-Shot Rewards for Robotics [46.912038830356714]
本稿では,ロボット作業の進捗を推定する時間的価値関数TOPRewardを紹介する。 130以上の異なる実世界のタスクに対するゼロショット評価では、TOPRewardはQwen3-VL上で0.947の平均値順序相関(VOC)を達成する。我々は,TOPRewardがダウンストリームアプリケーションのための汎用ツールであることを示す。
論文参考訳（メタデータ） (2026-02-22T19:25:48Z)
Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models [108.26461635308796]
Rationale Consistencyは、モデルの推論プロセスと人間の判断のアライメントを定量化する、きめ細かい計量である。我々のフロンティアモデルの評価では,最先端モデル間で合理的な一貫性が効果的に識別できることが示されている。我々は、GenRMトレーニングの合理性一貫性と結果精度を組み合わせたハイブリッド信号を導入する。
論文参考訳（メタデータ） (2026-02-04T15:24:52Z)
SPARK: Stepwise Process-Aware Rewards for Reference-Free Reinforcement Learning [39.1720897614261]
密度の高いステップレベルのフィードバックを提供するプロセス報酬モデル(PRM)は、強化学習の可能性を示している。筆者らはSPARK(SPARK)という3段階のフレームワークを提案し、第1段階ではジェネレータモデルが多様な解を生成し、検証器モデルがそれらを評価する。ステップレベルで複数の独立した検証を集約することで、根底的な結果管理を超越したプロセス報酬モデルのトレーニングデータが得られることを示す。
論文参考訳（メタデータ） (2025-12-02T21:30:47Z)
SPARK: Synergistic Policy And Reward Co-Evolving Framework [84.22494672256894]
我々は、RLVR上に構築された効率的でオン・ポリティクス、安定した手法であるSPARK(Synergistic Policy and Reward Co-Evolving Framework)を紹介する。ロールアウトと正確性データを捨てる代わりに、SPARKはこの貴重な情報をリサイクルし、生成的報酬モデルとしてモデル自体をトレーニングする。 SPARK は複数の LLM モデルと LVLM モデル,および複数の推論,報酬モデル,一般ベンチマークにおいて,大幅な性能向上を実現していることを示す。
論文参考訳（メタデータ） (2025-09-26T17:50:12Z)
Feed Two Birds with One Scone: Exploiting Function-Space Regularization for Both OOD Robustness and ID Fine-Tuning Performance [72.57668440744301]
シミュレーションOODサンプルを用いて,関数空間における微調整モデルと事前学習モデルの距離を制約する新しい正規化を提案する。このアプローチは、ダウンストリームタスクIDの微調整性能と、さまざまなCLIPバックボーン間のOODロバスト性の両方を一貫して改善できる。
論文参考訳（メタデータ） (2025-08-31T12:14:34Z)
Adversarially Robust Out-of-Distribution Detection Using Lyapunov-Stabilized Embeddings [1.0260351016050424]
AROSは、ニューラル常微分方程式(NODE)とリャプノフ安定性定理を利用する新しいアプローチである。調整された損失関数により、リアプノフ安定性理論を適用し、分布内(ID)とOODデータが安定平衡点に収束することを保証する。このアプローチは任意の摂動入力を安定平衡に戻すことを奨励し、それによってモデルの対向摂動に対する堅牢性を高める。
論文参考訳（メタデータ） (2024-10-14T17:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。