論文の概要: Value as Memory: Online Value-Guided Post-training for General Robot Policies

• arxiv url: http://arxiv.org/abs/2610.22368v1
• Date: Thu, 15 Oct 2026 17:59:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.283777
• Title: Value as Memory: Online Value-Guided Post-training for General Robot Policies
• Title（参考訳）: メモリとしてのバリュー: 一般的なロボットポリシーのためのオンライン価値ガイドポストトレーニング
• Abstract要約: バリューキャッシュとオンライン実世界の強化学習(RL)を通じて課題に対処するフレームワークであるValue as Memory(VaM)を提示する。 VaMはオフラインのRLウォームアップから、少額の報酬でオンラインの自律学習に移行する。 VaMの絶対成功率の平均は29.4%で、オンラインの自律学習と一致したオフライントレーニングで32.8%で上昇している。
• 参考スコア（独自算出の注目度）: 50.13947063442376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world post-training of generalist robot policies faces two challenges: partial observability makes action selection ambiguous, while offline post-training methods delay feedback from deployment experience. We present Value as Memory (VaM), a framework that addresses these challenges through value caching and online real-world reinforcement learning (RL). Value caching conditions actions on recent value predictions as task-progress memory, while online updates enable timely policy improvement by combining offline demonstrations, off-policy interventions, and on-policy rollouts for sample-efficient adaptation. As a result, VaM transitions from offline RL warmup to online autonomous learning with sparse rewards. Across long-horizon tasks involving deformable objects and contact-rich manipulation, VaM yields a mean absolute success-rate gain of $29.4\%$ with value caching, while achieving a $32.8\%$ gain with online autonomous learning over matched offline training. The evaluated online schedule performs $8\times$ as many policy iterations under the same gradient-step budget, with more than $2\times$ lower recorded time per gradient step with concurrent data collection and training.
• Abstract（参考訳）: 一般的なロボットポリシーの現実的なポストトレーニングは、部分的な可観測性によってアクション選択があいまいになり、オフラインのポストトレーニングメソッドはデプロイメントエクスペリエンスからのフィードバックを遅らせる、という2つの課題に直面します。 本稿では,バリューキャッシュとオンライン実世界の強化学習(RL)を通じて,これらの課題に対処するフレームワークであるValue as Memory(VaM)を紹介する。 バリューキャッシュ条件は、最近の値予測をタスクプログレスメモリとして動作させ、オンライン更新は、オフラインのデモ、オフラインの介入、およびサンプル効率の適応のためのオンラインロールアウトを組み合わせることで、タイムリーなポリシー改善を可能にする。 その結果、VaMはオフラインのRLウォームアップから、少額の報酬でオンラインの自律学習に移行する。 変形可能なオブジェクトとコンタクトリッチな操作を含む長期的タスク全体で、VaMは、平均的な成功率229.4\%の値キャッシュと、一致したオフライントレーニングよりもオンライン自律学習で32.8\%の値アップを実現している。 評価されたオンラインスケジュールは、同じグラデーションステップの予算の下で、80ドル以上のポリシーイテレーションを実行します。

関連論文リスト

• Max-Q Selective Imitation for Human-in-the-Loop Online Robot Learning [1.96243636752331]
  実際のロボットのためのHIL(Human-in-the-loop)オンライン強化学習は、人間の介入を素早く吸収し、人間の先行性を超えて改善し続けなければならない。 本稿では,この2つのコンポーネントをベースとしたトレーニング手法を提案する。 emphMC Q-chunk 批判者は、モンテカルロへのチャンクレベルのアクション値をリプレイバッファから返します。 emphmax-Qの選択的な模倣は、各状態において、現在のポリシーアクションとバッファサンプルの間の高額なQ$アクションを模倣することでアクターを更新する。
  論文  参考訳（メタデータ） (2026-08-15T07:13:59Z)
• DEAS: DEtached value learning with Action Sequence for Scalable Offline RL [46.40818333031899]
  Action Sequence(DEAS)は、アクションシーケンスをバリュー学習に活用する、シンプルだが効果的なオフラインRLフレームワークである。 DEASはOGBenchの複雑な長期タスクのベースラインを一貫して上回る。 大規模ビジョン・ランゲージ・アクションモデルの性能向上に応用できる。
  論文  参考訳（メタデータ） (2025-10-09T03:11:09Z)
• UI-S1: Advancing GUI Automation via Semi-online Reinforcement Learning [78.86567400365392]
  オフライン軌道上でオンラインRLをシミュレートする新しいパラダイムであるセミオンライン強化学習を提案する。 長期トレーニング信号をキャプチャするために、Semi-online RLは報酬計算に割引先を返す。 実験の結果,Semi-online RLは4つの動的ベンチマークで7Bモデル間でSOTA性能を実現することがわかった。
  論文  参考訳（メタデータ） (2025-09-15T03:24:08Z)
• Learning from Suboptimal Data in Continuous Control via Auto-Regressive Soft Q-Network [23.481553466650453]
  本稿では,粗大かつ自己回帰的な方法でQ値をモデル化する値ベースRLアルゴリズムであるARSQを提案する。 ARSQは、連続的な作用空間を粗い階層の離散空間に分解し、きめ細かい連続制御タスクのサンプル効率を高める。 決定ステップごとに次元的行動の利点を自動回帰予測し、継続的な制御タスクにおいてより効果的な意思決定を可能にする。
  論文  参考訳（メタデータ） (2025-02-01T03:04:53Z)
• Offline Reinforcement Learning from Datasets with Structured Non-Stationarity [50.35634234137108]
  現在の強化学習(RL)は、成功するポリシーを学ぶのに必要な大量のデータによって制限されることが多い。 本稿では,データセットを収集しながら,各エピソードの遷移と報酬関数が徐々に変化するが,各エピソード内で一定に保たれるような新しいオフラインRL問題に対処する。 本稿では、オフラインデータセットにおけるこの非定常性を識別し、ポリシーのトレーニング時にそれを説明し、評価中に予測するContrastive Predictive Codingに基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T02:41:36Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。