論文の概要: RouteRLT: Learning When and Which RL Specialist Should Control a Vision-Language-Action Policy

• arxiv url: http://arxiv.org/abs/2609.26467v1
• Date: Tue, 22 Sep 2026 14:15:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 01:05:39.689138
• Title: RouteRLT: Learning When and Which RL Specialist Should Control a Vision-Language-Action Policy
• Title（参考訳）: RouteRLT: いつ、どのRLスペシャリストがビジョン・ランゲージ・アクション・ポリシーを制御するべきかを学習する
• Abstract要約: RouteRLTは、単一の精度クリティカルフェーズのために訓練されたRLポリシーであるRLスペシャリストが、ジェネラリストVLAからいつ、どれを制御すべきかを学習する。 我々は,LIBEROにおける多目的ピックアップ・アンド・プレイスタスクと,複数の精度クリティカルステージを有する実世界のケーブルピックアップ・ポート挿入タスクについて,RouteRLTを評価した。
• 参考スコア（独自算出の注目度）: 5.033660455789586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language-action (VLA) models provide broad manipulation competence, but often struggle during the precision-critical stages that dominate contact-rich industrial tasks such as connector insertion and cable management. A common remedy is to refine a pretrained VLA with reinforcement learning (RL), enabling task-specific improvement beyond behavior cloning. However, how to preserve its generalist behavior while deciding when RL refinement is needed and which specialized policy should act remains an open question. In this work, we present RouteRLT, a routing framework that learns when and which RL specialist, an RL policy trained for a single precision-critical phase, should take control from a generalist VLA. A phase selector identifies the active controller, a stabilizer suppresses transient switches, and an action-boundary manager handles transitions between chunked policy outputs. We evaluate RouteRLT on multi-object pick-and-place tasks in LIBERO, as well as on a real-world cable pickup and port-insertion task with multiple precision-critical stages. In simulation, the learned routing improves over the base VLA and matches routing with privileged phase boundaries, without accessing those boundaries at deployment. The real-robot evaluation validates automatic routing to both the pickup and insertion specialists under an operator-aligned handoff protocol. Altogether, these results show that learned routing applies RL specialist control where precise adaptation is most valuable while preserving generalist VLA behavior, including recovery from failed execution attempts.
• Abstract（参考訳）: ヴィジュアル・ランゲージ・アクション(VLA)モデルは幅広い操作能力を提供するが、コネクタ挿入やケーブル管理といった、接触に富む産業タスクを支配する精度クリティカルな段階において、しばしば苦労する。 一般的な治療法は、強化学習(RL)で訓練済みのVLAを洗練させることで、行動クローニングを超えてタスク固有の改善を可能にすることである。 しかし、その一般主義的行動を維持するには、いつRLの洗練が必要か、どの専門政策を行えばよいのかは、未解決のままである。 本稿では,1つの精度クリティカルフェーズのために訓練されたRLポリシーであるRLスペシャリストが,一般のVLAからいつ,どれを制御すべきかを学習するルーティングフレームワークであるRouteRLTを提案する。 位相セレクタはアクティブコントローラを特定し、安定化器は過渡スイッチを抑制し、アクションバウンダリマネージャはチャンクされたポリシー出力間の遷移を処理する。 我々は,LIBEROにおける多目的ピックアップ・アンド・プレイスタスクと,複数の精度クリティカルステージを有する実世界のケーブルピックアップ・ポート挿入タスクについて,RouteRLTを評価した。 シミュレーションでは、学習したルーティングはベースVLAよりも改善され、デプロイメント時にそれらのバウンダリにアクセスすることなく、特権付きフェーズバウンダリとルーティングにマッチする。 実ロボット評価は、操作者対応のハンドオフプロトコルの下で、ピックアップおよび挿入スペシャリストへの自動ルーティングを検証する。 これらの結果から,学習したルーティングは,一般的なVLA動作を保ちながら,正確な適応が最重要となるRLスペシャリスト制御を適用していることがわかった。

関連論文リスト

• Towards High-DoF Dexterous Manipulation through VLA Post-Training [3.663456675235416]
  悪質な手は、信頼できる現実世界の操作に適応することが難しい。 教師付きハンドアクション, 微言語, DAgger, 実世界の強化学習からなる4段階後学習パイプラインを提案する。 報告されたトレーニング後の予算の中で、結果として得られたポリシーは、評価されたタスク毎にタスク毎の20回以上のトライアルで100%の成功を達成する。
  論文  参考訳（メタデータ） (2026-09-17T04:12:21Z)
• Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
  表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。 テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。 実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
  論文  参考訳（メタデータ） (2026-06-09T16:45:57Z)
• TORL-VLA: Tactile Guided Online Reinforcement Learning for Contact-Rich Manipulation [24.661831588991898]
  TORL-VLAは、触覚フィードバックとポリシーの強化を組み合わせた、コンタクトリッチな操作のためのオンライン強化学習フレームワークである。 本手法では, 触覚由来のレンチ認識型VLAを用いて, 参照動作と将来のレンチシーケンスを予測する。 探索的政策と人為的介入の混成データから学習を安定させるために,介入検閲された評論家を紹介する。
  論文  参考訳（メタデータ） (2026-06-08T11:05:05Z)
• Jump-Start Reinforcement Learning with Vision-Language-Action Regularization [1.2599533416395767]
  強化学習(RL)は、ロボット操作のための高周波閉ループ制御を可能にする。 現在の制限は、高速かつ正確な操作において直接の使用を妨げる。 探索と学習効率を向上させるために,VLAJS(Vision-Language-Action Jump-Starting)を提案する。
  論文  参考訳（メタデータ） (2026-04-15T11:17:54Z)
• ActiveVLN: Towards Active Exploration via Multi-Turn RL in Vision-and-Language Navigation [57.399685080574756]
  既存のMLLMベースのVLNメソッドは模倣学習(IL)に依存しており、ポストトレーニングにDAggerを使用することが多い。 マルチターンRLによるアクティブな探索を可能にするVLNフレームワークであるActiveVLNを提案する。 実験の結果,ActiveVLN は DAgger ベースと RL ベースのポストトレーニング手法と比較して,IL ベースラインよりも最大の性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-09-16T03:31:46Z)
• Double Check My Desired Return: Transformer with Target Alignment for Offline Reinforcement Learning [64.6334337560557]
  教師付き学習(RvS)による強化学習は、シーケンスモデリングタスクとしてオフラインRLをフレーム化する。 決定変換器(DT)は、実際の完了したリターンを特定のターゲットリターンと確実に整合させるのに苦労する。 そこで我々は,Offline RLの目標アライメントによる変換器の二重チェックを行う新しいアプローチであるDoctorを提案する。
  論文  参考訳（メタデータ） (2025-08-22T14:30:53Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Certified Reinforcement Learning with Logic Guidance [78.2286146954051]
  線形時間論理(LTL)を用いて未知の連続状態/動作マルコフ決定過程(MDP)のゴールを定式化できるモデルフリーなRLアルゴリズムを提案する。 このアルゴリズムは、トレースが仕様を最大確率で満たす制御ポリシーを合成することが保証される。
  論文  参考訳（メタデータ） (2019-02-02T20:09:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。