論文の概要: SynthDemo-RL: Breaking the Zero-Reward Barrier in VLA Adaptation with LLM-Guided Synthetic Demonstrations
- arxiv url: http://arxiv.org/abs/2609.21650v1
- Date: Fri, 18 Sep 2026 11:48:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.063301
- Title: SynthDemo-RL: Breaking the Zero-Reward Barrier in VLA Adaptation with LLM-Guided Synthetic Demonstrations
- Title（参考訳）: SynthDemo-RL:LDM誘導合成デモによるVLA適応におけるゼロ逆バリアの破壊
- Abstract要約: SynthDemo-RLは、教師がシミュレータのプライベートな状態を操作軌道に変換するためのフレームワークである。
固定評価プロトコルの下では,少なくとも1つの成功が観測されるタスクの割合である報奨カバレッジについて検討する。
さらに、RoboTwin 2.0上でパイプラインを検証するとともに、MuJoCoツインでトレーニングされたポリシーからのトラジェクトリが物理ロボット上でオープンループを実行することを検証する。
- 参考スコア（独自算出の注目度）: 15.165020451698341
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-tuning Vision-Language-Action (VLA) models commonly relies on human teleoperation demonstrations, while reinforcement learning (RL) with sparse binary rewards faces an exploration challenge when successful trajectories are rarely sampled. We propose SynthDemo-RL, a teacher-student framework in which an automated teacher converts simulator-privileged state into successful manipulation trajectories, a VLA student is distilled from them by supervised fine-tuning (SFT), and PPO with binary task-success rewards refines the student. We study reward coverage, the fraction of tasks for which at least one success is observed under the fixed evaluation protocol, as a complement to the average success rate. On LIBERO-PRO, a public benchmark of perturbed LIBERO tasks for which no demonstrations exist, 27 of 57 scored tasks are at exactly 0% success for a pi_0.5 policy fine-tuned on the original LIBERO tasks. Direct PPO from this policy, under the same PPO recipe and the same RL compute as SynthDemo-RL's refinement stage, rescues 10 of these 27 tasks and leaves 17 at 0%. SynthDemo-RL, with 50 synthesized trajectories per task and no new human demonstrations, rescues all 27 and reaches average success rates of 97.8% and 97.1% on the Position and Task axes of LIBERO-PRO, respectively. On standard LIBERO, the same pipeline reaches 96.0% with no human demonstrations, within 1.7 points of pi_0.5 trained on 50 human demonstrations per task. We further validate the pipeline on RoboTwin 2.0 and verify that trajectories from a policy trained in a MuJoCo twin execute open-loop on a physical robot.
- Abstract（参考訳）: 微調整型ビジョン・ランゲージ・アクション(VLA)モデルは通常、人間の遠隔操作のデモンストレーションに頼っている。
本稿では,教師がシミュレータの特権状態から操作軌道への変換を行うSynthDemo-RLと,教師による微調整(SFT)によりVLAの学生を蒸留し,二元的タスクの報酬を付与したPPOによって生徒を洗練させる手法を提案する。
本研究は, 平均成功率の補足として, 一定の評価プロトコルの下で少なくとも1つの成功が観測されるタスクの割合である報奨カバレッジについて検討する。
LIBERO-PROは、デモが存在しない乱れたLIBEROタスクの公開ベンチマークであり、57のタスクのうち27は、元のLIBEROタスクを微調整したpi_0.5ポリシーにおいて、正確に0%の成功である。
このポリシーからの直接のPPOは、SynthDemo-RLの精錬段階と同じPPOレシピとRL計算に基づいて、これらの27タスクのうち10タスクを救助し、17タスクを0%に除去する。
シンスデモ-RLは、タスク毎に50の合成軌道を持ち、新しい人間のデモは行われていないため、27人全員を救助し、それぞれLIBERO-PROの位置とタスク軸で平均97.8%と97.1%の成功率に達した。
標準のLIBEROでは、同じパイプラインが96.0%に達し、人間によるデモンストレーションは行われない。
さらに、RoboTwin 2.0上でパイプラインを検証するとともに、MuJoCoツインでトレーニングされたポリシーからのトラジェクトリが物理ロボット上でオープンループを実行することを検証する。
関連論文リスト
- From Pretraining to Proficiency: Real-World Subtask RL for Long-Horizon Manipulation with Minimal Human Intervention [6.892136887549818]
事前訓練されたロボットファンデーションポリシーは、長い水平タスクの大部分を実行するが、いくつかの重要なサブタスクで繰り返し失敗する可能性がある。
本稿では,人間の介入を最小限に抑えつつ,これらのボトルネックに実践を集中させる現実世界のサブタスクRLフレームワークを提案する。
論文 参考訳（メタデータ） (2026-09-18T14:03:49Z) - SARM2: Multi-Task Stage Aware Reward Modeling for Self Improving Robotic Manipulation [57.131411215593744]
ロングホライゾン操作のための微調整視覚言語アクション(VLA)ポリシーは、依然として行動クローニングに大きく依存している。
本稿では,MMOE(Multi-gate Mixture-of-Experts)値ヘッドとアクションプリミティブベースのステージ推定器を組み合わせたマルチタスクステージ認識報酬モデルRMを紹介する。
RM 上に構築した SPIRAL は,安価で自律的なロールアウトから VLA ポリシーを改善する,政治上の報酬誘導型フレームワークである。
論文 参考訳（メタデータ） (2026-06-09T01:46:23Z) - EXPO-FT: Sample-Efficient Reinforcement Learning Finetuning for Vision-Language-Action Models [84.73890225707264]
提案するEXPO-FTは,事前学習したVLAポリシーの安定かつサンプル効率の良いRL微調整システムである。
本システムは,オンラインロボットデータの平均19.1分以内の全ての評価課題に対して,完全なタスク性能(30/30の成功)を実現する。
我々は、ロボット工学におけるVLAモデルのより広範なRLファインタニング導入を促進することを目的とした、オープンソースのロバスト性をリリースする。
論文 参考訳（メタデータ） (2026-05-25T06:31:03Z) - AgentHER: Hindsight Experience Replay for LLM Agent Trajectory Relabeling [12.42698406379544]
AgentHERは、自然言語エージェントトラジェクトリにHindsight Experience原則を適用することで、失われたトレーニング信号を回復する。
破棄された障害を高品質のSFT、DPO、ShareGPTトレーニングデータに変換する。
WebArena Replay (Zhou et al., 2024)とToolBench (Qin et al., 2024)では、AgentHERは4つのモデルファミリーで成功のみのSFTを+7.1-11.7ppで改善している。
論文 参考訳（メタデータ） (2026-03-22T18:36:58Z) - Measuring Mid-2025 LLM-Assistance on Novice Performance in Biology [0.0]
大規模言語モデル(LLM)は生物学的なベンチマークで強く機能し、初心者アクターがデュアルユースな実験室の技術を習得するのに役立つのではないかという懸念を提起する。
ウイルスのリバース・ジェネティクス・ワークフローをモデル化したタスクにおいて,LSMが初歩的パフォーマンスを向上させるか否かを検討した。
LLMは、複雑な実験室の手続きの初歩的な完了を著しく増加させることはなかったが、性能上の利点は緩やかであった。
論文 参考訳（メタデータ） (2026-02-18T18:51:28Z) - SRPO: Self-Referential Policy Optimization for Vision-Language-Action Models [42.89413870143421]
VLA(Vision-Language-Action)モデルはロボット操作に優れるが、専門家によるデモンストレーションに大きく依存している。
グループベースの最適化手法を含む現在のVLA-RL法は、深刻な報酬の分散によって損なわれている。
本稿では,新しいVLA-RLフレームワークである自己参照ポリシー最適化(SRPO)を提案する。
論文 参考訳（メタデータ） (2025-11-19T16:52:23Z) - RL-100: Performant Robotic Manipulation with Real-World Reinforcement Learning [33.36533022574748]
RL-100は,教師あり学習によって訓練された拡散ビジュモータポリシーに基づく実世界の強化学習フレームワークである。
我々はPush-TやAgile Bowlingといった動的剛体制御にまたがる7つの実ロボットタスクに対してRL-100を評価する。
RL-100は900回中900回で評価試験で100%成功し、1回で250回連続試験のうち250回まで成功している。
論文 参考訳（メタデータ） (2025-10-16T16:07:50Z) - Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。
我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。
我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文 参考訳（メタデータ） (2025-09-23T16:15:42Z) - FLaRe: Achieving Masterful and Adaptive Robot Policies with Large-Scale Reinforcement Learning Fine-Tuning [74.25049012472502]
FLaReは、堅牢な事前訓練された表現、大規模なトレーニング、勾配安定化技術を統合する大規模な強化学習フレームワークである。
提案手法は,タスク完了に向けた事前訓練されたポリシーを整列し,これまで実証され,全く新しいタスクや実施状況において,最先端(SoTA)のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-09-25T03:15:17Z) - DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning [61.10299147201369]
本稿では,Wild デバイス制御エージェントをトレーニングするための新しい自律型 RL 手法である DigiRL を提案する。
VLMベースの評価器を備えた,スケーラブルで並列化可能なAndroid学習環境を構築する。
我々はAndroid-in-the-Wildデータセットを使用してDigiRLの有効性を実証し、RLでトレーニングした1.3B VLMは49.5%の絶対改善を実現した。
論文 参考訳（メタデータ） (2024-06-14T17:49:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。