論文の概要: BORA: Bridging Offline Reinforcement Learning and Online Residual Adaptation for Real-World Dexterous VLA Models

• arxiv url: http://arxiv.org/abs/2605.30226v1
• Date: Thu, 28 May 2026 16:57:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.562645
• Title: BORA: Bridging Offline Reinforcement Learning and Online Residual Adaptation for Real-World Dexterous VLA Models
• Title（参考訳）: BORA:リアルタイムデクサラスVLAモデルのためのオフライン強化学習とオンライン残留適応のブリッジ
• Authors: Zhongxi Chen, Yifan Han, Yanming Shao, Huanming Liu, Congsheng Xu, Xiaoyu Chen, Yao Mu, Wenzhao Lian,
• Abstract要約: VLA(Vision-Language-Action)モデルは、現実のロボット操作に対する視覚言語理解の基盤となる、有望なパラダイムとして登場した。 実世界のデクスタスVLAモデル用に設計されたオフライン-オンラインRLポストトレーニングフレームワークBORAを提案する。
• 参考スコア（独自算出の注目度）: 13.727092172889305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) models have emerged as a promising paradigm for grounding visual-language understanding into real-world robotic manipulation. However, dexterous manipulation remains challenging for VLA policies due to high-dimensional hand control and compounding execution errors, which makes real-world RL post-training essential for bridging the gap between visually grounded action generation and physically reliable dexterous execution. However, high-dimensional dexterous exploration often triggers temporal inconsistency, sample inefficiency and hardware risks in the real world. To address these challenges, we propose BORA, an offline-to-online RL post-training framework designed for real-world dexterous VLA models. In the offline phase, BORA constructs a critic that takes both the VLM's cognition tokens and action chunks as inputs. This design enables action-conditioned value guidance, allowing the critic to evaluate dexterous hand motions beyond visual context alone. During the subsequent online phase, BORA freezes the VLA base and introduces a lightweight, Human-in-the-Loop (HiL) chunk-wise residual adaptation mechanism to mitigate real-world execution errors and further correct the offline-learned intents within the actual physical environment. By inheriting the offline critic and employing intervention-driven rewards, BORA effectively corrects execution discrepancies and adapts to real-world physical variances while preserving the pretrained policy as a stable prior. Extensive evaluations across five complex real-world dexterous tasks demonstrate that BORA significantly outperforms pure imitation learning and traditional decoupled RL baselines, achieving a 33% absolute increase in average success rate under standard settings and up to a 43% improvement in unseen object generalization.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、現実のロボット操作に対する視覚言語理解の基盤となる、有望なパラダイムとして登場した。 しかし、高次元手動制御と複合実行エラーのため、VLAポリシーではデキスタラスな操作は依然として困難であり、現実のRLポストトレーニングは、視覚的に接地されたアクション生成と物理的に信頼できるデキスタラス実行のギャップを埋めるのに不可欠である。 しかし、高次元の厳密な探索は、しばしば時間的不整合、サンプルの非効率性、および現実世界におけるハードウェアのリスクを引き起こす。 これらの課題に対処するために,実世界のデクスタスVLAモデル用に設計されたオフライン-オンラインRLポストトレーニングフレームワークBORAを提案する。 オフラインフェーズでは、BORAはVLMの認識トークンとアクションチャンクの両方を入力として扱う批評家を構築する。 この設計により、アクション条件付き値誘導が可能となり、批評家は視覚的文脈以外の手の動きを評価できる。 その後のオンラインフェーズでは、BORAはVLAベースを凍結し、実世界の実行エラーを軽減し、実際の物理的環境内でオフラインで学習した意図を補正する軽量なHuman-in-the-Loop (HiL)チャンクワイド残差適応機構を導入する。 BORAは、オフライン批判を継承し、介入駆動報酬を採用することにより、実行上の不一致を効果的に修正し、事前訓練されたポリシーを安定した事前として保存しつつ、現実の物理的分散に適応する。 5つの複雑な実世界のデキスタラスタスクに対する広範囲な評価は、BORAが純粋な模倣学習と従来の分離されたRLベースラインを著しく上回り、標準設定下での平均成功率を33%、未確認オブジェクトの一般化を最大43%向上させることを示した。

関連論文リスト

• Jump-Start Reinforcement Learning with Vision-Language-Action Regularization [1.2599533416395767]
  強化学習(RL)は、ロボット操作のための高周波閉ループ制御を可能にする。 現在の制限は、高速かつ正確な操作において直接の使用を妨げる。 探索と学習効率を向上させるために,VLAJS(Vision-Language-Action Jump-Starting)を提案する。
  論文  参考訳（メタデータ） (2026-04-15T11:17:54Z)
• DexHiL: A Human-in-the-Loop Framework for Vision-Language-Action Model Post-Training in Dexterous Manipulation [14.050551792714083]
  ヒューマン・イン・ザ・ループ(HiL)学習は、ロボットポリシーを洗練するための強力なメカニズムであることが証明されている。 DexHiLはDexterous VLAモデルのための最初の統合アームハンドヒューマン・イン・ザ・ループ・フレームワークである。
  論文  参考訳（メタデータ） (2026-03-10T02:55:27Z)
• Self-Correcting VLA: Online Action Refinement via Sparse World Imagination [55.982504915794514]
  本稿では, 自己補正VLA (SC-VLA) を提案する。 SC-VLAは最先端のパフォーマンスを達成し、最高タスクスループットを16%削減し、最高パフォーマンスのベースラインよりも9%高い成功率を得る。
  論文  参考訳（メタデータ） (2026-02-25T06:58:06Z)
• Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
  ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。 連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。 複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
  論文  参考訳（メタデータ） (2026-02-04T05:37:09Z)
• Failure-Aware RL: Reliable Offline-to-Online Reinforcement Learning with Self-Recovery for Real-World Manipulation [48.26705293834693]
  FARL(Failure-Aware Offline-to-Online Reinforcement Learning)は、実世界の強化学習における障害を最小限にする新しいパラダイムである。 本研究では,オンライン探索における障害防止のために,世界モデルに基づく安全評論家とオフラインで訓練された回復ポリシーを統合するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-01-12T18:53:11Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• Making Offline RL Online: Collaborative World Models for Offline Visual Reinforcement Learning [93.99377042564919]
  本稿では,潜在的利点の探索を妨げることなく,より柔軟な値推定制約を構築することを試みる。 鍵となるアイデアは、オフラインポリシの"テストベッド"として、オンライン形式で簡単に操作可能な、市販のRLシミュレータを活用することだ。 我々は、状態と報酬空間におけるドメイン間の差異を軽減するモデルベースのRLアプローチであるCoWorldを紹介する。
  論文  参考訳（メタデータ） (2023-05-24T15:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。