論文の概要: Reinforcement Learning for Real-Time Vision-Language-Action Policies

• arxiv url: http://arxiv.org/abs/2609.18207v1
• Date: Wed, 16 Sep 2026 06:38:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.676304
• Title: Reinforcement Learning for Real-Time Vision-Language-Action Policies
• Title（参考訳）: リアルタイムビジョンランゲージ・アクション・ポリシーの強化学習
• Abstract要約: Real-Time EXPO-FTはリアルタイムVLAポリシーを微調整するためのRLフレームワークである。 Kinetixベンチマークでは、Real-Time EXPO-FTにより、遅延ポリシーが最高のパフォーマンスを達成することができる。 4つの動的な実世界のタスクにおいて、Real-Time EXPO-FTは平均的なポリシー性能を42%から97%に改善する。
• 参考スコア（独自算出の注目度）: 71.61893237919794
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning fine-tuning on top of large, pretrained Vision-Language-Action (VLA) models offers promise for highly reliable robot deployment. However, because of their scale, modern VLA models suffer from high inference latency, so the observation used to select an action is often stale by execution time, creating a distribution shift that can substantially degrade reliability and performance. Prior work has explored asynchronous policy execution to reduce the effect of latency, but these methods are mostly built on imitation learning and offer no mechanism for moving beyond the training distribution toward higher reliability. We close this gap by enabling RL fine-tuning that meets the real-time control requirements of dynamic real-world manipulation. Our approach builds on EXPO-FT, a framework for sample-efficient, reliable VLA fine-tuning with reinforcement learning, and decouples slow, expressive action generation from fast, reactive action edits: a large pretrained VLA proposes action chunks using its strong behavior prior, while a lightweight edit policy performs fast, reactive decision-making by editing actions in response to changes in state, conditioned on the latest observation. We instantiate this as Real-Time EXPO-FT, an RL framework for finetuning real-time VLA policies. On the Kinetix benchmark, Real-Time EXPO-FT enables a delayed policy to achieve the best performance among delayed and non-delayed methods in 10 out of 10 environments. On four dynamic real-world tasks, robot object passing, ball balancing, table soccer kicking, and dynamic object picking, with online robot data capped at 10 minutes, Real-Time EXPO-FT improves average policy performance from 42% to 97%, all without human intervention, demonstrating rapid, sample-efficient adaptation to challenging real-world dynamics. Website: https://pd-perry.github.io/real-time-expo-ft
• Abstract（参考訳）: 強化学習は、大型で訓練済みのビジョンランゲージ・アクション(VLA)モデルの上に微調整される。 しかし、そのスケールのため、現代のVLAモデルは高い推論遅延に悩まされるため、アクションの選択に使用される観察は実行時間によって停滞することが多く、信頼性と性能を著しく低下させる分散シフトが生じる。 従来の作業では、レイテンシの影響を低減するために非同期ポリシの実行を検討していたが、これらのメソッドは主に模倣学習に基づいて構築されており、トレーニングディストリビューションを超えて信頼性を高めるメカニズムを提供していない。 我々は、動的実世界の操作のリアルタイム制御要求を満たすRL微調整を可能にすることにより、このギャップを埋める。 我々のアプローチは、サンプル効率が高く信頼性の高いVLAファインチューニングのためのフレームワークであるEXPO-FTを基盤として、高速でリアクティブなアクション編集から遅い、表現力のあるアクション生成を分離する: 大規模な事前学習されたVLAは、その強い振る舞いを使ってアクションチャンクを提案し、一方、軽量な編集ポリシーは、状態の変化に応じてアクションを編集することで、高速でリアクティブな意思決定を行う。 我々はこれをリアルタイムVLAポリシーを微調整するRLフレームワークであるReal-Time EXPO-FTとしてインスタンス化する。 Kinetixのベンチマークでは、Real-Time EXPO-FTは10の環境中10の遅延メソッドと非遅延メソッドの間で最高のパフォーマンスを達成するために遅延ポリシーを実現する。 ロボットオブジェクトパッシング、ボールバランス、テーブルサッカーキック、動的オブジェクトピッキングの4つの動的現実的タスクにおいて、オンラインロボットデータは10分でカプセル化され、Real-Time EXPO-FTは平均ポリシー性能を42%から97%改善する。 ウェブサイト:https://pd-perry.github.io/real-time-expo-ft

関連論文リスト

• EXPO-FT: Sample-Efficient Reinforcement Learning Finetuning for Vision-Language-Action Models [84.73890225707264]
  提案するEXPO-FTは,事前学習したVLAポリシーの安定かつサンプル効率の良いRL微調整システムである。 本システムは,オンラインロボットデータの平均19.1分以内の全ての評価課題に対して,完全なタスク性能(30/30の成功)を実現する。 我々は、ロボット工学におけるVLAモデルのより広範なRLファインタニング導入を促進することを目的とした、オープンソースのロバスト性をリリースする。
  論文  参考訳（メタデータ） (2026-05-25T06:31:03Z)
• Jump-Start Reinforcement Learning with Vision-Language-Action Regularization [1.2599533416395767]
  強化学習(RL)は、ロボット操作のための高周波閉ループ制御を可能にする。 現在の制限は、高速かつ正確な操作において直接の使用を妨げる。 探索と学習効率を向上させるために,VLAJS(Vision-Language-Action Jump-Starting)を提案する。
  論文  参考訳（メタデータ） (2026-04-15T11:17:54Z)
• On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning [61.38273866396522]
  ビジョン・ランゲージ・アクションモデルが汎用ロボット学習の強力なパラダイムとして登場した。 現在の手法は、シミュレーションや物理世界の展開に挑戦するには相変わらず適していない。 本稿では,VLA フレームワークのテスト時間強化学習について紹介する。
  論文  参考訳（メタデータ） (2026-01-11T01:51:30Z)
• VLA-RAIL: A Real-Time Asynchronous Inference Linker for VLA Models and Robots [5.308743386891208]
  VLA(Vision-Language-Action)モデルは、ロボット工学において画期的な進歩を遂げた。 連続したアクションチャンクのキューを融合する戦略は、VLAモデル全体のパフォーマンスに大きな影響を与える。 既存の方法は、ロボットアクションの実行時にジッタ、ストール、あるいは停止に悩まされる。 本稿では,モデル推論とロボット動作制御を非同期に行うように設計された新しいフレームワークであるVLA-RAILを紹介する。
  論文  参考訳（メタデータ） (2025-12-31T06:59:42Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success [100.226572152954]
  視覚言語アクションモデル(VLA)のための最適化された微調整レシピを提案する。 われわれのレシピはOpenVLAの4つのタスクスイートの平均成功率を76.5%から97.1%に引き上げ、アクション生成のスループットを26$times$に向上させた。 実世界の評価において、我々の微調整のレシピにより、OpenVLAはバイマガルALOHAロボット上でデクスタラスで高周波な制御タスクをうまく実行することができる。
  論文  参考訳（メタデータ） (2025-02-27T00:30:29Z)
• HiRT: Enhancing Robotic Control with Hierarchical Robot Transformers [12.373320641721344]
  大型ビジョンランゲージ・アクション(VLA)モデルは、その印象的な一般化能力のためにロボット制御において有望であることが示されている。 数十億のパラメータを持つVLMバックエンドへの依存は、高い計算コストと遅延推定につながる。 本稿では,柔軟な周波数・性能トレードオフを実現する階層型ロボットトランスフォーマフレームワークであるHiRTを提案する。
  論文  参考訳（メタデータ） (2024-09-12T09:18:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。