論文の概要: BEE: Intervention-Adaptive Real-World Reinforcement Learning with Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2609.27450v1
• Date: Wed, 23 Sep 2026 07:14:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.928156
• Title: BEE: Intervention-Adaptive Real-World Reinforcement Learning with Vision-Language-Action Models
• Title（参考訳）: BEE:ビジョンランゲージ・アクションモデルを用いたインターベンション適応実世界強化学習
• Abstract要約: BEEは、凍結したVLA上の現実世界のRLのための介入適応フレームワークである。 我々は、人間の修正を再現する行為ではなく、制約の証拠として定式化する。 BEEは全てのタスクにおいて最も成功率の高い91.2%、RLTでは57.5%、DSRLでは42.1%、現実世界では最低の人間の介入率である。
• 参考スコア（独自算出の注目度）: 9.447941566129122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language-action (VLA) models handle long-horizon manipulation, yet success hinges on a few precision-critical phases where millimeter-scale errors undo all prior progress. Online reinforcement learning (RL) can optimize exactly these actions, but free exploration is far too costly on real robots, which makes human corrections indispensable. However, existing online RL methods for VLAs either cannot incorporate such corrections or fold them into undifferentiated supervision. Yet human corrections are not uniformly noisy but reliable along some action dimensions and variable along others. Building on this, we introduce BEE, an intervention-adaptive framework for real-world RL on a frozen VLA that lets the policy go BEyond Expert imitation. We formulate human corrections not as actions to reproduce but as evidence about a constraint: a Correction Model predicts how a human would correct a given VLA proposal and how consistent the correction is along each action dimension. This predicted consistency sets the per-dimension tightness of a constraint on policy optimization. Where corrections are consistent the policy stays close to the human, and where they vary, the constraint relaxes. We evaluate BEE on three real-world manipulation tasks and one LIBERO-Pro simulation task at a matched online-data budget. BEE attains the highest success rate on every task, 91.2% on average against 57.5% for RLT and 42.1% for DSRL, and the lowest human intervention rate on all real-world tasks.
• Abstract（参考訳）: 視覚言語アクション(VLA)モデルは、長い水平操作を処理しますが、成功は、ミリスケールエラーがすべての先行処理を解除する、いくつかの精度クリティカルフェーズに依存します。 オンライン強化学習(RL)は、これらの動作を正確に最適化することができるが、実際のロボットでは、自由な探索にははるかにコストがかかりすぎるため、人間の修正は不可欠である。 しかしながら、VLAの既存のオンラインRLメソッドは、そのような修正を組み込むことも、それらを無差別の監視に折り畳むこともできない。 しかし、人間の補正は均一にうるさくはないが、ある行動次元に沿って信頼性があり、他の方向に沿って変化する。 BEEは、凍結したVLA上に現実世界のRLのための介入適応フレームワークで、政策がエキスパートの模倣を許す。 補正モデルは、人が与えられたVLA提案をどのように修正するかを予測し、その補正が各アクションディメンションに沿ってどれだけ一貫性があるかを予測します。 この予測一貫性は、政策最適化に対する制約の次元当たりの厳密性を設定する。 修正が一貫している場合、ポリシーは人間に近づき、それらが異なる場合、制約は緩和される。 実世界の3つの操作タスクと1つのLIBERO-ProシミュレーションタスクのBEEを一致したオンラインデータ予算で評価した。 BEEは全てのタスクにおいて最も成功率の高い91.2%、RLTでは57.5%、DSRLでは42.1%、現実世界では最低の人間の介入率である。

関連論文リスト

• VLA-Precision: Asymmetric Co-Bootstrapping for Efficient Real-World Online RL of Vision-Language-Action Models [18.46719160646894]
  事前訓練された視覚言語アクション(VLA)モデルは広い操作を可能にするが、精度と再現性を必要とするタスクでは信頼性が保たれる。 実世界のオンライン強化学習(RL)をVLAポストトレーニングに適用することで、デモだけでなく、自律的な試行錯誤の改善が可能になる。 Asymmetric Co-BootstrappingアルゴリズムとACoB-Streamアーキテクチャを特徴とする,効率的な実世界のオンラインRLフレームワークであるVLA-Precisionを提案する。
  論文  参考訳（メタデータ） (2026-09-03T18:19:36Z)
• HAF: Adapting Generalist VLAs to Humanoid Whole-Body Loco-manipulation via Hierarchical Action Flow and Spectral Latent RL [56.014913786737104]
  本稿では,HAF(Humanoid Adaptation Framework)を導入し,市販の汎用VLAファンデーションモデルをヒューマノイド全体のロコ操作に転送する。 HAF-VLAは、事前訓練されたフローマッチングVLA上に構築された階層型アクションフロージェネレータである。 HaF-Steerは、フローマッチングの可逆性とDCTに基づく次元削減を活用する、オフラインからオフラインまでの潜時パイプラインである。
  論文  参考訳（メタデータ） (2026-08-17T17:22:33Z)
• Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement [52.93267443851685]
  VLA(Vision-Language-Action)モデルは様々な操作タスクにまたがって一般化することができる。 シミュレーションで純粋に訓練された強化学習政策は、実世界のVLAのゼロショットの堅牢性を改善することができるか? 本稿では,オブジェクトポーズを用いてVLA動作を洗練するオブジェクト中心残差RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-17T11:36:54Z)
• Preference-Calibrated Human-in-the-Loop Reinforcement Learning for Robotic Manipulation [40.17737666526493]
  PACT(Preference-calibrated Actor-Critic Training framework)を提案する。 まず、人間の実演から学習し、信用補正のための最適部分を特定するプログレスモデルを設計する。 次に、選好ペアを構築して、同定された準最適セグメントのベルマン目標をペナルティ化する反ファクト的優位性を定義する。
  論文  参考訳（メタデータ） (2026-06-02T17:38:25Z)
• BORA: Bridging Offline Reinforcement Learning and Online Residual Adaptation for Real-World Dexterous VLA Models [13.727092172889305]
  VLA(Vision-Language-Action)モデルは、現実のロボット操作に対する視覚言語理解の基盤となる、有望なパラダイムとして登場した。 実世界のデクスタスVLAモデル用に設計されたオフライン-オンラインRLポストトレーニングフレームワークBORAを提案する。
  論文  参考訳（メタデータ） (2026-05-28T16:57:47Z)
• EXPO-FT: Sample-Efficient Reinforcement Learning Finetuning for Vision-Language-Action Models [84.73890225707264]
  提案するEXPO-FTは,事前学習したVLAポリシーの安定かつサンプル効率の良いRL微調整システムである。 本システムは,オンラインロボットデータの平均19.1分以内の全ての評価課題に対して,完全なタスク性能(30/30の成功)を実現する。 我々は、ロボット工学におけるVLAモデルのより広範なRLファインタニング導入を促進することを目的とした、オープンソースのロバスト性をリリースする。
  論文  参考訳（メタデータ） (2026-05-25T06:31:03Z)
• Hi-WM: Human-in-the-World-Model for Scalable Robot Post-Training [54.896907620476675]
  本稿では,学習世界モデルを用いた学習後学習フレームワークを提案する。 Hi-WMは中間状態をキャッシュし、ロールバックとブランチをサポートする。 我々は、剛性と変形性のあるオブジェクト相互作用と2つのポリシーバックボーンにまたがる3つの実世界の操作タスクについて、Hi-WMを評価する。
  論文  参考訳（メタデータ） (2026-04-23T14:42:54Z)
• Real-world Reinforcement Learning from Suboptimal Interventions [39.23110010675281]
  SiLRI (SiLRI) は、現実のロボット操作タスクのための州立ラグランジアン強化学習アルゴリズムである。 我々のアルゴリズムは,人間間遠隔操作システムに基づいて,多様な操作タスクに関する実世界の実験を通じて評価される。
  論文  参考訳（メタデータ） (2025-12-30T15:26:42Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。