論文の概要: Learning to Act While Waiting: RL Finetuning of Generalist Robot Policies Under Inference Latency

• arxiv url: http://arxiv.org/abs/2608.23831v2
• Date: Wed, 26 Aug 2026 14:32:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.100186
• Title: Learning to Act While Waiting: RL Finetuning of Generalist Robot Policies Under Inference Latency
• Title（参考訳）: 待機中の行動の学習:推論遅延下での一般ロボット政策のRLファインタニング
• Abstract要約: 本稿では、推論遅延下での一般ポリシーのRLに基づく改善を可能にする、遅延対応フレームワークであるAsynchronous RL with Intermediate Information (ARLI)を紹介する。 我々のフレームワークは非同期推論アプローチに基づいており、実行時に動作生成をインターリーブして遅延を隠蔽し、RLとの非互換性に対処する。 シミュレーションおよび実世界の操作タスクにまたがるアプローチを評価し、標準RLが完全に失敗する推論遅延下で効果的な微調整を可能にすることを発見した。
• 参考スコア（独自算出の注目度）: 38.99457938189648
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While reinforcement learning (RL) allows generalist robot policies to continually improve during deployment, the large model size of modern generalist policies, such as VLAs, poses a fundamental obstacle to effective RL improvement. In particular, their severe inference latency---which can lead to pauses or jerky movements---can alter the effective environment dynamics and, if not correctly accounted for, break the Markov assumption that RL relies on, causing standard RL algorithms to fail completely. In this work, we introduce a latency-aware framework, Asynchronous RL with Intermediate Information (ARLI), that enables RL-based improvement of generalist policies under inference delays. Our framework builds on asynchronous inference approaches, which interleave action generation with execution to hide latency, and addresses its incompatibility with RL by providing a low-latency RL policy design that maximizes reactivity within the inference window through two contributions: state augmentations that restore near-Markovian structure by incorporating committed actions and a mid-inference observation. We evaluate our approach across simulated and real-world manipulation tasks, and find that it enables effective finetuning under inference delays where standard RL fails entirely, even matching or exceeding the performance of standard RL in idealized no-latency settings.
• Abstract（参考訳）: 強化学習(RL)は、デプロイ中にジェネラリストロボットポリシーを継続的に改善するが、VLAのような現代のジェネラリストポリシーの大きなモデルサイズは、効果的なRL改善に根本的な障害をもたらす。 特に、その厳しい推論遅延 -- 一時停止や不安定な動作につながる可能性がある -- は、有効環境のダイナミクスを変更し、正しく説明されていないとしても、RLが依存しているというマルコフの仮定を破り、標準のRLアルゴリズムは完全に失敗する。 本研究では, 遅延を考慮した非同期RL with Intermediate Information (ARLI) フレームワークを導入し, 推論遅延下での一般ポリシーのRLに基づく改善を実現する。 提案フレームワークは,動作生成と実行をインターリーブして遅延を隠蔽する非同期推論アプローチに基づいており,その非互換性に対処するために,2つのコントリビューションを通じて推論ウィンドウ内での反応性を最大化する低レイテンシなRLポリシー設計を提供する。 シミュレーションおよび実世界の操作タスクにまたがるアプローチを評価し,標準RLが完全にフェールした場合の推論遅延を効果的に微調整できることを確認した。

関連論文リスト

• SmoothRL: Online Reinforcement Learning During Asynchronous Execution [12.24698147742807]
  物理的な世界でロボットポリシーをデプロイするには、信頼性とスムーズなリアルタイム実行という、2つの基本的なデシダータを満たす必要がある。 SmoothRLは、非同期推論ループ内で事前訓練されたポリシーを微調整するオンライン強化学習フレームワークである。 我々は,SmoothRLを実世界のロボットタスクに対して高い精度で評価し,非同期実行を必要とする高ダイナミックなタスクについて検討した。
  論文  参考訳（メタデータ） (2026-08-30T12:56:09Z)
• Scaling Automatic Research Agents via World Models [42.9808933592206]
  最近の研究(AutoResearch)エージェントは、ソリューションを独立して実装し、実行から学ぶ能力を示している。 これらの利益の裏では、ポストトレーニング(特にRL)が中心的な役割を果たす。 世界モデルRL(WMRL)はこのボトルネックを取り除くために環境実行を世界モデルに置き換える。
  論文  参考訳（メタデータ） (2026-08-12T20:11:25Z)
• Found-RL: foundation model-enhanced reinforcement learning for autonomous driving [15.275134927543611]
  エンドツーエンド自動運転(AD)の主流パラダイムとして強化学習(RL)が登場している。 Found-RLは、基礎モデルを使用してADのためのRLを効率的に拡張するプラットフォームである。 コアとなるイノベーションは非同期バッチ推論フレームワークで、シミュレーションループから重いVLM推論を分離する。
  論文  参考訳（メタデータ） (2026-02-11T02:56:04Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• Boosting Reinforcement Learning with Strongly Delayed Feedback Through Auxiliary Short Delays [41.52768902667611]
  強化学習(Reinforcement Learning, RL)は、事象と知覚知覚の間の遅延の一般的な場合において困難である。 本稿では、短時間の遅延を含む補助的なタスクを活用して、長時間の遅延でRLを高速化する、Auxiliary-Delayed Reinforcement Learning (AD-RL) 法を提案する。 具体的には、AD-RLは短い遅延に対する値関数を学習し、ブートストラップとポリシー改善技術を用いて長い遅延に調整する。
  論文  参考訳（メタデータ） (2024-02-05T16:11:03Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Improving Zero-shot Generalization in Offline Reinforcement Learning using Generalized Similarity Functions [34.843526573355746]
  強化学習(Reinforcement Learning, RL)エージェントは、複雑な逐次意思決定タスクの解決に広く用いられているが、訓練中に見えないシナリオに一般化することが困難である。 RLにおける一般化のためのオンラインアルゴリズムの性能は、観測間の類似性の評価が不十分なため、オフライン環境では妨げられることを示す。 本稿では, 一般化類似度関数(GSF)と呼ばれる新しい理論的動機付けフレームワークを提案する。このフレームワークは, 競合学習を用いてオフラインのRLエージェントを訓練し, 期待される将来の行動の類似性に基づいて観測を集約する。
  論文  参考訳（メタデータ） (2021-11-29T15:42:54Z)
• Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL [82.93243616342275]
  適応行動優先型オフラインモデルに基づくRL(Adaptive Behavioral Priors:MABE)を導入する。 MABEは、ドメイン内の一般化をサポートする動的モデルと、ドメイン間の一般化をサポートする振る舞いの事前が相補的であることの発見に基づいている。 クロスドメインの一般化を必要とする実験では、MABEが先行手法より優れていることが判明した。
  論文  参考訳（メタデータ） (2021-06-16T20:48:49Z)
• Progressive extension of reinforcement learning action dimension for asymmetric assembly tasks [7.4642148614421995]
  本稿では,RLアルゴリズムの収束を最適化するために,行動次元の漸進的拡張(PEAD)機構を提案する。 結果は,pead法がrlアルゴリズムのデータ効率と時間効率を向上し,安定した報酬を得ることを示す。
  論文  参考訳（メタデータ） (2021-04-06T11:48:54Z)
• Robust Deep Reinforcement Learning against Adversarial Perturbations on State Observations [88.94162416324505]
  深部強化学習(DRL)エージェントは、自然な測定誤差や対向雑音を含む観測を通して、その状態を観察する。 観測は真の状態から逸脱するので、エージェントを誤解させ、準最適行動を起こすことができる。 本研究は, 従来の手法を, 対人訓練などの分類タスクの堅牢性向上に応用することは, 多くのRLタスクには有効でないことを示す。
  論文  参考訳（メタデータ） (2020-03-19T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。