Fugu-MT 論文翻訳(概要): Beyond Policy Patches: Distilling RL Specialists into Vision-Language-Action Policies

論文の概要: Beyond Policy Patches: Distilling RL Specialists into Vision-Language-Action Policies

arxiv url: http://arxiv.org/abs/2611.02777v1
Date: Mon, 02 Nov 2026 08:53:49 GMT
ステータス: 情報取得中
システム内更新日: 2026-11-03 20:11:04.562065
Title: Beyond Policy Patches: Distilling RL Specialists into Vision-Language-Action Policies
Title（参考訳）: RLのスペシャリストを「ビジョン・ランゲージ・アクティベーション・ポリシー」に駆り立てる
Abstract要約: VLA(Vision-matching-action)ポリシは、短時間の精度クリティカルフェーズで失敗する長い水平操作の非クリティカルステージを扱うことができる。軽量強化学習の専門家は、完全なVLAに直接適用することなく、これらの障害に対処することができる。単一フローマッチングVLAにそれらの能力を移す方法について検討する。
参考スコア（独自算出の注目度）: 23.197699707115007
License:
Abstract: Vision-language-action (VLA) policies can handle noncritical stages of long-horizon manipulation yet fail during short precision-critical phases. Lightweight reinforcement learning (RL) specialists can address these failures without directly applying RL to the full VLA, but retain auxiliary controllers and switching mechanisms at deployment. We study how to transfer their capabilities into a single flow-matching VLA. Direct imitation of specialist rollouts can reproduce action jitter and leave the VLA unprepared for states encountered during its own execution. We introduce REPAIR, a value-guided distillation framework that combines offline initialization with on-policy refinement. At each critical-phase observation, REPAIR queries the corresponding specialist for multiple action candidates and weights them using its critic to construct a supervision distribution. A shared weighted flow-matching objective trains the VLA first on observations from specialist-assisted rollouts, then on observations collected through its own execution. Specialists provide supervision without taking control during on-policy collection and are removed at deployment. Across six real-robot tasks with 30 evaluation trials per task, REPAIR achieves 100% success on all six tasks, with lower mean end-effector jerk than specialist-assisted execution on every task.
Abstract（参考訳）: 視覚言語アクション(VLA)ポリシーは、長い水平操作の非臨界段階を扱うことができるが、短時間の精度クリティカルフェーズでは失敗する。軽量強化学習(RL)の専門家は、完全なVLAに直接RLを適用することなく、これらの障害に対処することができる。単一フローマッチングVLAにそれらの能力を移す方法について検討する。スペシャリストロールアウトの直接の模倣は、アクションジッタを再現し、自身の実行中に遭遇した状態に対してVLAを未準備のままにしておくことができる。本稿では、オフライン初期化とオン・ポリケーシック・リファインメントを組み合わせた価値誘導蒸留フレームワークREPAIRを紹介する。各臨界相観測において、REPAIRは対応する専門家に複数のアクション候補を問い合わせ、その批評家を使って監督分布を構築する。共有フローマッチングの目的は、VLAが専門的支援によるロールアウトの観測を行い、その後、独自の実行を通じて収集された観察に基づいて訓練する。スペシャリストは、オン・ポリティクス・コレクションの制御なしに監督を行い、展開時に取り除かれる。 6つの実ロボットタスクで1タスクにつき30の試行錯誤を行い、REPAIRは6つのタスクすべてで100%成功し、各タスクにおける専門家支援実行よりも平均的なエンドエフェクターが低い。

関連論文リスト

Profiling a Frontier Agent with EBench: From Direct Control to Harness with Policy [58.20511644298136]
我々はGPT-6-Astraをエージェントハーネスを介してロボットを制御するエージェントのコアとして評価する。直接制御の下では、エージェントは訓練後ポリシーと比較して総合的なパフォーマンスを達成する。ポリシーのハーネスでは、後トレーニングされたVLAまたはWAMを呼び出すことは、両方のコンポーネントの相補的な強みを組み合わせる。
論文参考訳（メタデータ） (2026-10-26T17:51:02Z)
AtomicRL: Atomic Reinforcement Learning for Long-Horizon Robotic Manipulation [80.27828678921965]
AtomicRLは、信頼性の高い信用割当と適応探索にアトミックタスク構造を活用する、ポストトレーニングフレームワークである。 SAPOはセマンティック・アウェア・ゲーティング(semantic-aware gating)を使用して、失敗した原子サブタスクからのTD残基をタスク境界を越えて伝搬することを制限している。 BATEは、個々の原子サブタスクの熟達に基づいて、タスクサンプリングと局所的な探索インセンティブを動的に調整する。
論文参考訳（メタデータ） (2026-10-21T17:45:24Z)
CarryOn: A Dual-Loop Harness for Personalized and Reliable Robot Assistance [81.4342222387133]
凍結VLAポリシーを強化するために設計されたデュアルループハーネスであるCarryOnを提案する。計画ループは、持続的なユーザレベルとシーンレベルのコンテキストを維持し、新しい観察に対して継続的に基礎を置いている。実行が失敗すると、システムは再利用可能な制御ベースのリカバリスキルを起動し、タスクの進捗を回復し、以前の障害に対するリフレクションによって洗練される。
論文参考訳（メタデータ） (2026-10-15T07:54:39Z)
DriftOPD: Sequence-Level Reverse-KL Distillation for One-Step VLA Policies [41.98321929064213]
DriftOPDは、連続VLAアクションエキスパートのシーケンスレベルのオンライン蒸留のための教師不要でロールアウト不要なフレームワークである。逐次レベルの逆KL(Kulback-Leibler)の分散はチャンクレベルの逆KL項と、現在の作用の長い水平効果を捉える未来ポテンシャル項に分解されることを示す。
論文参考訳（メタデータ） (2026-09-29T02:55:12Z)
SEES: A Self-Evolving Embodied System via Failure-Guided VLA Policy Adaptation [91.40711822875284]
SEES(Self-Evolving Embodied System)は失敗から学び、新たな専門家によるデモンストレーションなしでVLAポリシーを改善します。 SEESは長距離タスクをアトミックタスクに分解し、対応する家族ポリシーにルーティングする。オンラインRLは共有ファミリーアダプタを更新し、関連する原子スキル間の正の伝達を促進する。
論文参考訳（メタデータ） (2026-09-26T14:58:21Z)
RouteRLT: Learning When and Which RL Specialist Should Control a Vision-Language-Action Policy [5.033660455789586]
RouteRLTは、単一の精度クリティカルフェーズのために訓練されたRLポリシーであるRLスペシャリストが、ジェネラリストVLAからいつ、どれを制御すべきかを学習する。我々は,LIBEROにおける多目的ピックアップ・アンド・プレイスタスクと,複数の精度クリティカルステージを有する実世界のケーブルピックアップ・ポート挿入タスクについて,RouteRLTを評価した。
論文参考訳（メタデータ） (2026-09-22T14:15:28Z)
ForceRFT: Refining VLA Actions through Force-Guided Residual Reinforcement Learning [10.418397316382782]
ForceRFTは、フォース誘導強化学習フレームワークである。人間の監督や自律的なタスクの結果からコンタクト依存の修正を学ぶ。プラグ挿入、リングオンペグ組立、ホワイトボードワイピングの実験は、評価された実演訓練および残像ベースラインよりも高い自律的な成功率を示した。
論文参考訳（メタデータ） (2026-09-19T07:16:11Z)
Jump-Start Reinforcement Learning with Vision-Language-Action Regularization [1.2599533416395767]
強化学習(RL)は、ロボット操作のための高周波閉ループ制御を可能にする。現在の制限は、高速かつ正確な操作において直接の使用を妨げる。探索と学習効率を向上させるために,VLAJS(Vision-Language-Action Jump-Starting)を提案する。
論文参考訳（メタデータ） (2026-04-15T11:17:54Z)
Foundation Policies with Hilbert Representations [54.44869979017766]
ラベルなしオフラインデータから一般ポリシーを事前学習するための教師なしフレームワークを提案する。我々の重要な洞察は、基盤となる環境の時間的構造を保存する構造的表現を学習することである。実験の結果、教師なしのポリシーは、ゴール条件付きおよび一般のRLタスクをゼロショットで解決できることがわかった。
論文参考訳（メタデータ） (2024-02-23T19:09:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。