論文の概要: RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance
- arxiv url: http://arxiv.org/abs/2608.09853v1
- Date: Mon, 10 Aug 2026 17:09:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.393534
- Title: RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance
- Title（参考訳）: RynnValue: 時間的距離によるロボット価値基盤モデルのスケーリング
- Abstract要約: 汎用報酬モデルが、ロボット学習のスケーリングのボトルネックになりつつある。
ロボット操作のためのオープンソースのバリューファンデーションモデルであるRynnValueを紹介した。
RynnValueは7000時間以上、好みやプログレッシブアノテーションなしで約3Mの命令条件付きクリップにスケールする。
- 参考スコア（独自算出の注目度）: 84.26294415726723
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: General-purpose reward models are increasingly the bottleneck for scaling robot learning, yet the recipe for learning value-related capabilities from large-scale heterogeneous corpora remains underexplored. Existing approaches tie supervision to task-internal anchors such as preferences or normalized progress, none of which transfer cleanly across embodiments and data sources. We introduce RynnValue, an open-source value foundation model for robotic manipulation that replaces these anchors with temporal distance, the directed cost-to-go from an observation to the language-specified goal. Because temporal-distance labels can be derived directly from timestamps, RynnValue scales to over 7,000 hours and roughly 3M instruction-conditioned clips without preference or progress annotations. To make temporal-value learning reliable at scale, we combine random temporal sampling, temporal-order shuffling, and value-isolation attention, suppressing shortcuts that would leave predictions insensitive to failures and regressions. Trained without preference labels, RynnValue attains an average Kendall's tau_a of 0.675 on RBM-EVAL-OOD, surpassing the fully preference-supervised state of the art (0.655) and more than doubling a progress-only counterpart (0.292), while generalizing zero-shot to unseen tasks, embodiments, and viewpoints. Converted into dense rewards via potential-based shaping, it raises real-world policy success from 52.5% to 72.5% online and from 63.8% to 82.5% offline. These results establish temporal distance as a scalable supervision target and practical reward interface for generalist robot policies.
- Abstract（参考訳）: 汎用報酬モデルは、ロボット学習のスケーリングのボトルネックとしてますます大きくなっているが、大規模な異種コーパスから価値関連能力を学ぶためのレシピはまだ未定である。
既存のアプローチは、好みや正規化された進捗といったタスク内部のアンカーに監督を結びつける。
我々は,ロボット操作のためのオープンソースの価値基盤モデルであるRynnValueを紹介し,これらのアンカーを時間的距離で置き換える。
時間距離ラベルはタイムスタンプから直接引き出すことができるため、RynnValueは7000時間以上、好みやプログレッシブアノテーションなしで約3Mの命令条件付きクリップにスケールする。
時間的価値学習を大規模に信頼性を持たせるために、ランダムな時間的サンプリング、時間次シャッフル、および値アイソレーションの注意を組み合わせ、失敗や回帰に敏感な予測を残すショートカットを抑える。
RynnValueは好みのラベルなしで訓練され、RBM-EVAL-OODで平均0.675のタウ_aを達成し、完全に優先順位付けされた最先端(0.655)を上回り、進歩専用(0.292)を倍増する一方で、目に見えないタスク、実施、視点にゼロショットを一般化している。
ポテンシャルベースのシェーピングによって密集した報酬に変換され、実世界の政策成功率は52.5%から72.5%に、オフラインでは63.8%から82.5%に上昇する。
これらの結果は、汎用ロボットポリシーのためのスケーラブルな監視ターゲットと実用的な報酬インターフェースとして時間的距離を確立する。
関連論文リスト
- ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳（メタデータ） (2026-09-15T04:59:03Z) - LM-X: Explainable Action Modeling with Progress, Event, and Uncertainty Prediction for Generalist Robot Manipulation [28.431160101245837]
一般視覚-言語行動(VLA)政策は、主に短期水平行動予測を通じて長期水平行動を学ぶ。
我々は,解剖学的対応を主張することなく,タスク,イベント,運動の規模にわたって予測を整理するLM-Xを紹介する。
論文 参考訳（メタデータ） (2026-08-26T13:05:29Z) - On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。
そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。
SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
論文 参考訳（メタデータ） (2026-08-25T14:55:24Z) - ForeTime-VLA: Causal Future-Token Distillation from a World Action Model for Conveyor-Belt Manipulation [6.874305530359895]
本稿では,凍ったFast-WAMをベースとした教師から,未来を意識した行動等価表現を蒸留する高密度pi0.5ポリシーであるForeTime-VLAを紹介する。
オンラインでは、8フレームの履歴エンコーダが操作フェーズと正規化された時間-遷移とともにこのターゲットを予測する。
テストMAEは0.134119から0.130593 (2.63%)に減少し、ペアリングブートストラップ95%CI:0.82-4.48%の改善、テストL2は2.46-2.93%の遅延コストで3.02%減少する。
論文 参考訳（メタデータ） (2026-08-21T04:40:41Z) - Hermite Curves as Trajectory Priors for Vision-Language-Action Models [41.51953284790607]
本稿では,Hermite trajectory priorsを導入し,チャンク軌道を終点位置と速度で定義される3次Hermite曲線としてパラメータ化する。
我々は、この固定作用素を離散自己回帰および連続生成パラダイムでインスタンス化する。
シミュレーションベンチマークと実ロボットプラットフォーム全体で、Hermite Regularizationは優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-08-02T14:18:17Z) - STEAM: Self-Supervised Temporal Ensemble Advantage Modeling for Real-World Robot Learning [76.76959348575764]
政策学習には、信頼できる局所的な進歩と失敗と回帰を区別するフレームレベルのアドバンテージが必要です。
本稿では,専門家による実証からこのような利点を学習するラベルフリー手法であるSTEAM(Self-supervised Temporal Ensemble Advantage Modeling)を提案する。
論文 参考訳（メタデータ） (2026-06-29T06:19:35Z) - ESPO: Early-Stopping Proximal Policy Optimization [78.79610718910628]
ESPO(Early-Stopping Proximal Policy Optimization)は、軌道上の障害を検出し、ロールアウトを早期に終了する。
DeepSeek-R1-Distill-Qwen-7Bでは、ESPOはAIME2024(46.28%対45.25%)、AMC2023(85.83%対82.94%)、MATH-500(87.42%対85.43%)でPPOを上回っている。
論文 参考訳（メタデータ） (2026-05-28T12:40:22Z) - Forecasting Downstream Performance of LLMs With Proxy Metrics [37.61408486519996]
本稿では,トークンレベルの統計値(エントロピー,トップk精度,エキスパートトークンランクなど)を集約することで,プロキシメトリクスを構築することを提案する。
3つの設定で、我々のプロキシは損失ベースのベースラインと計算ベースのベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2026-05-18T16:17:15Z) - How Far Can Unsupervised RLVR Scale LLM Training? [57.44753418846446]
検証可能な報酬を伴う教師なし強化学習(URLVR)は、監督ボトルネックを越えてLLMトレーニングをスケールするための経路を提供する。
最近の研究は、モデル固有の信号を活用し、期待できる早期の利得を示しているが、その可能性と限界は未だ不明である。
我々は、URLVRメソッドを報酬源に基づく固有対外部に分類し、統一された理論的枠組みを確立する。
論文 参考訳（メタデータ） (2026-03-09T17:38:11Z) - A Rubric-Supervised Critic from Sparse Real-World Outcomes [87.11204512676193]
現実のコーディングエージェントは、成功信号がノイズが多く、遅延し、スパースであるループで人間と動作します。
本稿では,RLに基づくトレーニングや推論時間スケーリングの報奨モデルとして,スパースとノイズの相互作用データから"批判的"モデルを学習するプロセスを提案する。
論文 参考訳（メタデータ） (2026-03-04T07:23:54Z) - Robometer: Scaling General-Purpose Robotic Reward Models via Trajectory Comparisons [69.87766750714945]
汎用ロボット報酬モデルは通常、専門家によるデモンストレーションから絶対的なタスク進捗を予測するために訓練される。
本稿では、軌道内進行監視と軌道間優先監視を組み合わせたスケーラブルな報酬モデリングフレームワークRobometerを紹介する。
ロビオメーターは、専門家データに報酬等級を固定するフレームレベルのプログレス・ロスと、グローバルな順序制約を課す軌跡比較優先損失という2つの目的で訓練されている。
論文 参考訳（メタデータ） (2026-03-02T17:38:58Z) - Interpretable Machine Learning Approaches to Prediction of Chronic
Homelessness [2.294014185517203]
特定されていない顧客避難記録から慢性的なホームレスを予測するための機械学習手法を提案する。
我々のモデルであるHIFIS-RNN-MLPは、クライアントの過去6ヶ月の慢性的なホームレスを予測するために、クライアントの履歴の静的特徴と動的特徴の両方を取り入れている。
論文 参考訳（メタデータ） (2020-09-12T15:02:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。