論文の概要: Stable and Efficient Real-World Online VLA Post-Training via Asynchronous Replay-Anchored Policy Improvement

• arxiv url: http://arxiv.org/abs/2609.22888v1
• Date: Sat, 19 Sep 2026 08:45:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:15:03.981929
• Title: Stable and Efficient Real-World Online VLA Post-Training via Asynchronous Replay-Anchored Policy Improvement
• Title（参考訳）: Asynchronous Replay-Anchored Policyの改善による安定的で効率的なリアルタイムVLAポストトライニング
• Abstract要約: 本稿では,リプレイ動作における批評家とアクターの更新の両方を基盤として,ロールアウトと学習を同時に行うフレームワークを提案する。 RAPolicyを4つのシングルタスク設定と1つのジョイント5タスク設定で実世界で評価し,オンライントレーニングの予算は1～2時間に過ぎなかった。
• 参考スコア（独自算出の注目度）: 60.83624556700821
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online post-training of vision-language-action (VLA) models requires efficient use of robot interaction and reliable policy improvement from continually collected experience. We propose asynchronous Replay-Anchored Policy improvement (RAPolicy), a framework that performs rollout and learning concurrently while grounding both critic and actor updates in replayed behavior. The critic learns chunk-level values from recorded actions and constructs Bellman targets without predicting next actions, reducing computation and dependence on action-value estimates outside replay coverage. The one-step flow actor reuses the initial noise stored during rollout and learns through advantage-weighted conditional likelihood, directly supervising the action mapping used for execution. We evaluate RAPolicy across four single-task settings and one joint five-task setting in the real world, with online training budgets of only 1--2 hours. Starting from policies fine-tuned on just 10 demonstrations per task, RAPolicy rapidly adapts to new single tasks and achieves an average 86.3% success rate. In the joint multi-task setting, RAPolicy improves overall success rate from 52% to 88% while preserving performance on already reliable tasks and improving weaker capabilities. Overall, RAPolicy substantially outperforms the baselines in aggregate task success while requiring fewer human interventions, demonstrating stable policy improvement and high online training efficiency. Project page: https://flyfaerss.github.io/RAPolicy.
• Abstract（参考訳）: 視覚言語アクション(VLA)モデルのオンライントレーニングでは、ロボットインタラクションの効率的な利用と、継続的に収集された経験から信頼性の高いポリシー改善が必要である。 我々は,リプレイ行動における批評家とアクターの更新の両方を基礎にして,ロールアウトと学習を同時に行うフレームワークである非同期リプレイ・アンコールポリシー改善(RAPolicy)を提案する。 批評家は記録されたアクションからチャンクレベルの値を学び、次のアクションを予測せずにベルマンターゲットを構築する。 ワンステップフローアクターは、ロールアウト中に格納された初期ノイズを再利用し、有利な条件付き確率で学習し、実行に使用するアクションマッピングを直接監視する。 RAPolicyを4つのシングルタスク設定と1つのジョイント5タスク設定で実世界で評価し,オンライントレーニングの予算は1～2時間に過ぎなかった。 RAPolicyは、タスクごとに10のデモで微調整されたポリシーから始まり、新しい単一タスクに迅速に適応し、平均86.3%の成功率を達成する。 共同マルチタスク環境では、RAPolicyは全体の成功率を52%から88%に改善し、既存の信頼性の高いタスクのパフォーマンスを維持し、より弱い機能を改善する。 全体として、RAPolicyは、人的介入を少なくし、安定した政策改善と高いオンライントレーニング効率を実証しながら、タスク成功のベースラインを大幅に上回っている。 プロジェクトページ: https://flyfaerss.github.io/RAPolicy.com

関連論文リスト

• Reinforcement Learning for Real-Time Vision-Language-Action Policies [71.61893237919794]
  Real-Time EXPO-FTはリアルタイムVLAポリシーを微調整するためのRLフレームワークである。 Kinetixベンチマークでは、Real-Time EXPO-FTにより、遅延ポリシーが最高のパフォーマンスを達成することができる。 4つの動的な実世界のタスクにおいて、Real-Time EXPO-FTは平均的なポリシー性能を42%から97%に改善する。
  論文  参考訳（メタデータ） (2026-09-16T06:38:36Z)
• Max-Q Selective Imitation for Human-in-the-Loop Online Robot Learning [1.96243636752331]
  実際のロボットのためのHIL(Human-in-the-loop)オンライン強化学習は、人間の介入を素早く吸収し、人間の先行性を超えて改善し続けなければならない。 本稿では,この2つのコンポーネントをベースとしたトレーニング手法を提案する。 emphMC Q-chunk 批判者は、モンテカルロへのチャンクレベルのアクション値をリプレイバッファから返します。 emphmax-Qの選択的な模倣は、各状態において、現在のポリシーアクションとバッファサンプルの間の高額なQ$アクションを模倣することでアクターを更新する。
  論文  参考訳（メタデータ） (2026-08-15T07:13:59Z)
• Efficient Real-World Online Reinforcement Learning for Robot Manipulation via Centralized Training and Critic Decomposition [16.480150894507908]
  集中型トレーニングと分散実行(CTDE)とハイブリッドリワードアーキテクチャ(HRA)を組み合わせた統合フレームワークを導入する。 実験の結果,提案フレームワークはサンプル効率と政策性能の両方を大幅に改善することがわかった。 本手法は,最先端のベースラインと比較して,テニスボールのピック・アンド・プレイスにおける成功率を60%から80%に向上させる。
  論文  参考訳（メタデータ） (2026-08-10T15:54:25Z)
• Beyond Action Residuals: Real-World Robot Policy Steering via Bottleneck Latent Reinforcement Learning [42.74142065376427]
  本稿では,Z-Perturbation Reinforcement Learning (ZPRL)を提案する。 現実世界では、ZPRLは模倣ベースポリシーよりも4つのタスクの平均成功率を33.7%向上させる。
  論文  参考訳（メタデータ） (2026-05-19T14:43:26Z)
• SOPE: Stabilizing Off-Policy Evaluation for Online RL with Prior Data [49.370849653460716]
  本稿では,アクタに整列したオフポリシー評価信号を用いたSOPEを,自動早期停止機構として提案する。 Minariベンチマークスイートから25の継続的制御タスクを評価した。 SOPEはベースライン性能を最大45.6%改善し、必要なTFLOPを最大22倍改善した。
  論文  参考訳（メタデータ） (2026-05-07T08:32:09Z)
• ALOE: Action-Level Off-Policy Evaluation for Vision-Language-Action Model Post-Training [15.70383059978939]
  本研究では,オンライン強化学習(RL)による大規模基盤視覚アクション(VLA)システムの改善方法について検討する。 実際には、値関数は異なるデータソースから収集された軌跡断片から推定される。 VLAポストトレーニングのためのアクションレベルオフポリシー評価フレームワークであるALOEを提案する。
  論文  参考訳（メタデータ） (2026-02-13T07:46:37Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• Succeed or Learn Slowly: Sample Efficient Off-Policy Reinforcement Learning for Mobile App Control [50.316067647636196]
  本稿では,モバイルアプリ制御タスクで評価された新規な非政治強化学習アルゴリズムであるSucceed or Learn Slowly (SoLS)を紹介する。 SoLSは、ユーザーインターフェースナビゲーションのための微調整基礎モデルにおいて、非政治的アクター-批判的アプローチを修正することで、サンプル効率を改善する。 我々は、成功した対話から学習を優先するSTR(Success Transition Replay)でSOLSを増強する。
  論文  参考訳（メタデータ） (2025-09-01T18:55:27Z)
• Fast Adaptation with Behavioral Foundation Models [82.34700481726951]
  教師なしゼロショット強化学習は、行動基礎モデルの事前学習のための強力なパラダイムとして登場した。 有望な結果にもかかわらず、ゼロショットポリシーは、教師なしのトレーニングプロセスによって引き起こされるエラーにより、しばしば準最適である。 本稿では,事前訓練されたBFMの低次元タスク埋め込み空間を探索し,ゼロショットポリシーの性能を急速に向上させる高速適応手法を提案する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。