論文の概要: RDGen: Demonstration Generation for High-Quality Robot Learning via Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2605.30957v1
- Date: Fri, 29 May 2026 07:53:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.4544
- Title: RDGen: Demonstration Generation for High-Quality Robot Learning via Reinforcement Learning
- Title（参考訳）: RDGen:強化学習による高品質ロボット学習のためのデモ生成
- Abstract要約: VLA(Vision-Language-Action)モデルが汎用ロボット制御の有望なパラダイムとして登場した。
これらのモデルは、高品質なロボット軌道データの提供によって制約される。
本稿では,高品質なロボットデモを生成するための実演型強化学習フレームワークRDGenを提案する。
- 参考スコア（独自算出の注目度）: 6.009885909139946
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models have emerged as a promising paradigm for general-purpose robot control. However, their performance remains fundamentally constrained by the availability of high-quality robot trajectory data. In current robot learning practice, such data are primarily collected through human teleoperation, which is labor-intensive, costly, and difficult to scale. In this paper, we propose RDGen, a sim-to-real reinforcement learning framework for generating high-quality robot demonstrations. Rather than employing reinforcement learning solely as the final control policy, RDGen leverages trained RL policies as a structured trajectory generator. The system consists of a VLM-based task parser that identifies task-relevant objects, a Grounding DINO-based object localizer, and an RL policy transferred from simulation to the real robot. Successful rollouts are then harvested as clean, high-quality demonstrations for downstream VLA training, while the simulation stage further provides a scalable source of additional trajectories at little marginal cost. Experiments on a pick-and-place task demonstrate that the transferred RL policy achieves a high task success rate. Compared with human teleoperation, RDGen produces significantly smoother trajectories and yields superior downstream VLA performance. These results indicate that RL-generated demonstrations can serve as more reliable and consistent supervisory signals for robot policy learning.
- Abstract（参考訳）: VLA(Vision-Language-Action)モデルが汎用ロボット制御の有望なパラダイムとして登場した。
しかし,その性能は,高品質なロボット軌道データの利用に大きく制約されている。
現在のロボット学習の実践では、これらのデータは主に、労働集約的でコストがかかり、スケールが難しい人間の遠隔操作を通して収集される。
本稿では,高品質なロボットデモを生成するための実演型強化学習フレームワークRDGenを提案する。
RDGenは、強化学習を最終制御ポリシーとしてのみ採用するのではなく、構造化軌道生成器として訓練されたRLポリシーを活用する。
このシステムは、タスク関連オブジェクトを識別するVLMベースのタスクパーサ、グラウンドDINOベースのオブジェクトローカライザ、シミュレーションから実際のロボットに転送されるRLポリシーから構成される。
成功したロールアウトは、下流のVLAトレーニングのためのクリーンで高品質なデモとして回収され、シミュレーションステージはさらに、わずかな限界コストで追加トラジェクトリのスケーラブルなソースを提供する。
ピック・アンド・プレイス・タスクの実験は、転送されたRLポリシーが高いタスク成功率を達成することを示す。
ヒトの遠隔操作と比較すると、RDGenはよりスムーズな軌道を発生し、下流VLAの性能が向上する。
これらの結果から,ロボット政策学習において,より信頼性が高く一貫した監視信号として,RL生成デモが有効であることが示唆された。
関連論文リスト
- RC-NF: Robot-Conditioned Normalizing Flow for Real-Time Anomaly Detection in Robotic Manipulation [68.7948300643741]
ロボットの異常検出と介入をリアルタイムに監視するロボット・コンディションド・ノーマライゼーション・フロー(RC-NF)を提案する。
RC-NFは、正規化フロー内のタスク認識ロボットとオブジェクト状態の処理を分離する。
従来のロボットタスクの監視方法と比較して、あらゆる異常なタイプで最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-03-11T10:14:37Z) - PvP: Data-Efficient Humanoid Robot Learning with Proprioceptive-Privileged Contrastive Representations [30.986538644112105]
全体制御(WBC)は、ヒューマノイドロボットが動的環境において複雑なタスクを実行できるために不可欠である。
本稿では,固有受容的状態と特権的状態の相補性を生かした,プロプリオセプティブ・プリビレグ型コントラスト学習フレームワークを提案する。
SRL4Humanoidは,ヒューマノイドロボット学習のための代表状態表現学習法(SRL)の高品質な実装を提供する,初めての統一・モジュール化されたフレームワークである。
論文 参考訳（メタデータ） (2025-12-15T08:50:20Z) - VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning [14.099306230721245]
VLA-RLは、オンライン収集データをテスト時に改善する探索ベースのフレームワークである。
自動抽出タスクセグメントにアノテートされた擬似報酬ラベルに基づいてトレーニングされたロボットプロセス報酬モデルとして、事前学習された視覚言語モデルを微調整する。
VLA-RLにより、OpenVLA-7BはLIBEROの40の挑戦的なロボット操作タスクにおいて、最強の微調整ベースラインを4.5%超えることができる。
論文 参考訳（メタデータ） (2025-05-24T14:42:51Z) - Towards Autonomous Reinforcement Learning for Real-World Robotic Manipulation with Large Language Models [5.2364456910271935]
自然言語タスク記述から報酬関数を生成するための教師なしパイプラインを提案する。
報酬はシミュレーション環境でRLエージェントを訓練するために使用され、報酬生成プロセスは実現可能性を高めるために形式化される。
ABB YuMiコラボレーティブロボットを用いたシングルアームおよびバイマニュアル操作タスクの広範囲なシミュレーション実験により,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2025-03-06T10:08:44Z) - LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
我々はLLaRA: Large Language and Robotics Assistantを紹介した。
まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。
このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
論文 参考訳（メタデータ） (2024-06-28T17:59:12Z) - Active Exploration in Bayesian Model-based Reinforcement Learning for Robot Manipulation [8.940998315746684]
ロボットアームのエンドタスクに対するモデルベース強化学習(RL)アプローチを提案する。
我々はベイズニューラルネットワークモデルを用いて、探索中に動的モデルに符号化された信念と情報の両方を確率論的に表現する。
実験により,ベイズモデルに基づくRL手法の利点が示された。
論文 参考訳（メタデータ） (2024-04-02T11:44:37Z) - SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning [82.46975428739329]
筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。
我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。
これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
論文 参考訳（メタデータ） (2024-01-29T10:01:10Z) - RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation [68.70755196744533]
RoboGenはジェネレーティブなロボットエージェントで、ジェネレーティブなシミュレーションを通じて、さまざまなロボットのスキルを自動的に学習する。
我々の研究は、大規模モデルに埋め込まれた広範囲で多目的な知識を抽出し、それらをロボット工学の分野に移す試みである。
論文 参考訳（メタデータ） (2023-11-02T17:59:21Z) - Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for
Autonomous Real-World Reinforcement Learning [58.3994826169858]
ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。
我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。
提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
論文 参考訳（メタデータ） (2023-10-23T17:50:08Z) - Stabilizing Contrastive RL: Techniques for Robotic Goal Reaching from Offline Data [96.5899286619008]
自己指導型学習は、制御戦略を学ぶのに必要な人間のアノテーションとエンジニアリングの労力を減らす可能性がある。
我々の研究は、強化学習(RL)自体が自己監督的な問題であることを示す先行研究に基づいている。
コントラスト学習に基づく自己教師付きRLアルゴリズムは,実世界の画像に基づくロボット操作タスクを解くことができることを示す。
論文 参考訳（メタデータ） (2023-06-06T01:36:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。