論文の概要: SmoothRL: Online Reinforcement Learning During Asynchronous Execution

• arxiv url: http://arxiv.org/abs/2608.29768v1
• Date: Sun, 30 Aug 2026 12:56:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.060961
• Title: SmoothRL: Online Reinforcement Learning During Asynchronous Execution
• Title（参考訳）: SmoothRL: 非同期実行中のオンライン強化学習
• Abstract要約: 物理的な世界でロボットポリシーをデプロイするには、信頼性とスムーズなリアルタイム実行という、2つの基本的なデシダータを満たす必要がある。 SmoothRLは、非同期推論ループ内で事前訓練されたポリシーを微調整するオンライン強化学習フレームワークである。 我々は,SmoothRLを実世界のロボットタスクに対して高い精度で評価し,非同期実行を必要とする高ダイナミックなタスクについて検討した。
• 参考スコア（独自算出の注目度）: 12.24698147742807
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deploying robot policies in the physical world requires satisfying two fundamental desiderata: reliability and smooth real-time execution. However, deploying state-of-the-art generalist models presents challenges on both fronts. Achieving the precision and robustness required for real-world deployment necessitates sample-efficient online reinforcement learning (RL) to adapt pretrained models. Meanwhile, the increasing scale of robot foundation models has led to higher inference latency. To satisfy real-time constraints under high latency, modern systems adopt asynchronous inference with action chunking, overlapping policy computation with chunk execution to hide latency and enable smooth control. Despite their complementary roles, integrating asynchronous execution with gradient-based online RL remains underexplored. We present SmoothRL, an online RL framework that fine-tunes a pretrained policy within an asynchronous inference loop. SmoothRL follows a value-gradient paradigm, directly updating policy parameters using gradients of the action-value function with respect to policy actions. To enable correct optimization under asynchronous execution, SmoothRL explicitly models the asynchronous inference process during training. Specifically, each generated action chunk is partitioned by frame index into three regions: a committed region, consisting of actions committed by the previous inference cycle; an execution region, containing newly generated actions executed by the robot; and a discarded region, containing actions superseded by the next inference cycle. Gradients are propagated only through the execution region, ensuring policy optimization aligns with the trajectory distribution induced by asynchronous execution. We evaluate SmoothRL on real-world robotic tasks requiring high precision, as well as highly dynamic tasks that necessitate asynchronous execution.
• Abstract（参考訳）: 物理的な世界でロボットポリシーをデプロイするには、信頼性とスムーズなリアルタイム実行という、2つの基本的なデシダータを満たす必要がある。 しかし、最先端のジェネラリストモデルの展開は両面での課題を提示している。 実世界の展開に必要な精度と堅牢性を達成するには、事前訓練されたモデルに適応するために、サンプル効率の高いオンライン強化学習(RL)が必要である。 一方、ロボットファンデーションモデルの規模は増大し、推論レイテンシが向上した。 高レイテンシ下でのリアルタイム制約を満たすため、現代のシステムは、アクションチャンキングによる非同期推論、チャンク実行によるポリシー計算の重複により、レイテンシを隠蔽し、スムーズな制御を可能にする。 相補的な役割にもかかわらず、勾配ベースのオンラインRLと非同期実行の統合はいまだ検討されていない。 SmoothRLは非同期推論ループ内で事前訓練されたポリシーを微調整するオンラインRLフレームワークである。 SmoothRLは、ポリシーアクションに関するアクション値関数の勾配を使って、ポリシーパラメータを直接更新する。 非同期実行時の正しい最適化を可能にするため、SmoothRLはトレーニング中の非同期推論プロセスを明示的にモデル化する。 具体的には、各生成されたアクションチャンクをフレームインデックスで分割し、前回の推論サイクルによって実行されるアクションからなるコミット領域と、ロボットによって実行される新たに生成されたアクションを含む実行領域と、次の推論サイクルに取って代わられるアクションを含む廃棄領域とに分割する。 グラディエントは実行領域を通してのみ伝搬され、非同期実行によって誘導される軌道分布とポリシーの最適化が整合することを保証する。 我々は,SmoothRLを実世界のロボットタスクに対して高い精度で評価し,非同期実行を必要とする高ダイナミックなタスクについて検討した。

関連論文リスト

• Learning to Act While Waiting: RL Finetuning of Generalist Robot Policies Under Inference Latency [38.99457938189648]
  本稿では、推論遅延下での一般ポリシーのRLに基づく改善を可能にする、遅延対応フレームワークであるAsynchronous RL with Intermediate Information (ARLI)を紹介する。 我々のフレームワークは非同期推論アプローチに基づいており、実行時に動作生成をインターリーブして遅延を隠蔽し、RLとの非互換性に対処する。 シミュレーションおよび実世界の操作タスクにまたがるアプローチを評価し、標準RLが完全に失敗する推論遅延下で効果的な微調整を可能にすることを発見した。
  論文  参考訳（メタデータ） (2026-08-24T21:19:50Z)
• World Action Models in Real Time: An Empirical Study of Smooth Execution via Asynchronous Deployment [0.0]
  本研究では,モデル推論とアクション実行の重なり合う戦略について検討し,応答性とスムーズな制御を実現する。 同期実行、純粋な非同期スイッチング、ポストホック動作ブレンディング、デノイング時間ブレンディング、推論時速度誘導、プレフィックス条件付き生成を含む6つの戦略を比較した。
  論文  参考訳（メタデータ） (2026-08-03T08:24:36Z)
• Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
  フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。 FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。 FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
  論文  参考訳（メタデータ） (2026-05-12T17:12:29Z)
• LaST-R1: Reinforcing Robotic Manipulation via Adaptive Physical Latent Reasoning [90.86828952599147]
  提案するLaST-R1(LaST-R1)は,「最近の推論・行動」政策を活用するために設計された,新しい強化学習フレームワークである。 LaST-R1 は LIBERO ベンチマークで 99.9% の平均成功率を達成した。 実世界の展開では、LaST-R1はSOTAが監督する微調整アプローチよりも22.5%平均的に改善されている。
  論文  参考訳（メタデータ） (2026-04-30T17:59:52Z)
• DiscreteRTC: Discrete Diffusion Policies are Natural Asynchronous Executors [57.944744187489185]
  外部修正をネイティブなアンマスクに置き換えるDiscreteRTCを提案する。 DiscreteRTCは、非同期のインペインティングのために0行のコードを実装するのが簡単で、スクラッチから生成したアクションに比べてわずか0.7倍の計算速度で推論が高速で、フローベースのRTCに比べて実世界の動的ピックタスクの成功率が50%向上した。
  論文  参考訳（メタデータ） (2026-04-27T23:04:03Z)
• DexWorldModel: Causal Latent World Modeling towards Automated Learning of Embodied Tasks [54.32016216994156]
  本稿では,DINOv3特徴を生成対象として用い,視覚ノイズから相互作用意味を乱す因果潜在世界モデル(CLWM)を提案する。 メモリスケーリングを克服するため、CLWMはDual-State Test-Time Training (TTT)メモリを備えている。 EmbodiChainは、トレーニング中に物理基底軌道の無限の流れを注入することによって効率法を確立するオンラインフレームワークである。
  論文  参考訳（メタデータ） (2026-04-13T03:19:36Z)
• Closed-Loop Action Chunks with Dynamic Corrections for Training-Free Diffusion Policy [52.106797722292896]
  我々は,チャンクベースのアクション生成とリアルタイム修正を統合した動的クローズドループ拡散ポリシーフレームワークDCDPを提案する。 動的PushTシミュレーションでは、DCDPは5%の計算しか必要とせず、再トレーニングなしに適応性を19%改善する。
  論文  参考訳（メタデータ） (2026-03-02T15:04:18Z)
• RL-VLA$^3$: Reinforcement Learning VLA Accelerating via Full Asynchronism [42.27384804295299]
  VLA(Vision-Language-Action)モデルは、一般的なインボディードインテリジェンスへの重要な経路として登場した。 本稿では,環境相互作用からアクタポリシー更新に至るまで,パイプライン全体を包含する完全に非同期なポリシートレーニングフレームワークを提案し,実装する。 LIBEROベンチマークでは、既存の同期戦略と比較して59.25%のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-02-05T15:30:23Z)
• Real-Time Robot Execution with Masked Action Chunking [38.37108371991901]
  ロボットのようなサイバー物理システムにはリアルタイム実行が不可欠である。 近年,リアルタイムロボット操作のためのシステムレベルのパラダイムとして,非同期推論が登場している。 本稿では,マスクされたアクションチャンキングによって事前訓練されたポリシーの修正を学習するREMACを提案する。
  論文  参考訳（メタデータ） (2026-01-27T23:48:32Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。