論文の概要: Reinforcement Learning Enables Scaling Generalist Robot Policy Improvement

• arxiv url: http://arxiv.org/abs/2611.06905v1
• Date: Wed, 04 Nov 2026 18:52:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.239128
• Title: Reinforcement Learning Enables Scaling Generalist Robot Policy Improvement
• Title（参考訳）: ロボット政策のスケーリングを可能にする強化学習
• Abstract要約: 汎用ロボットポリシーは、様々なタスクにおいてオンラインで改善可能であることを示す。 正しいレシピは、オンライントレーニング中に考慮されていないタスクの一般化とパフォーマンスの向上を可能にする。 これは、ロボットファンデーションモデルに対するオンラインジェネラリスト改善の最初の証拠である。
• 参考スコア（独自算出の注目度）: 55.5228603361928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The introduction of generalist robot policies has enabled a single, large model to learn to perform a variety of tasks from a vast pre-training corpus. While these models often exhibit powerful zero-shot generalization capabilities, they typically require an adaptation phase to achieve sufficient performance in deployment. Iterated self-improvement via reinforcement learning (RL) has demonstrated promise in enabling this adaptation, yet such approaches have been largely explored in single-task settings - where the goal is to simply improve on a narrow deployment task - which lies in stark contrast to the multi-task capabilities of the base policy. In this work we ask whether generalist robot policies are capable of multi-task, generalist improvement in deployment - targeting many diverse tasks simultaneously - and what algorithmic recipe enables this. To answer this question, we first develop a set of structured evaluations to test generalist improvement capabilities, and systematically evaluate algorithmic and practical design choices regarding value estimation, policy extraction and resource allocation. We show that not only can generalist policies be improved online across diverse tasks, but that the right recipe can enable generalization and increase performance on tasks not considered during online training. We characterize when this generalization occurs and show that both the training task distribution and the use of value-based RL are critical. To the best of our knowledge, this is among the first evidence for online generalist improvement for robot foundation models.
• Abstract（参考訳）: ジェネラリストロボットポリシーの導入により、1つの大きなモデルが、広大な事前学習コーパスから様々なタスクを実行することを学べるようになった。 これらのモデルは、しばしば強力なゼロショット一般化能力を示すが、配置において十分な性能を達成するためには、適応フェーズが必要である。 強化学習(RL)による反復的な自己改善は、この適応を実現する上で有望であるが、このようなアプローチは、ベースポリシーのマルチタスク機能とは対照的な、狭いデプロイメントタスクの改善を目標とする、シングルタスク設定で主に検討されている。 本研究は,汎用ロボットポリシがマルチタスクが可能なのか,デプロイにおける汎用的改善 – さまざまなタスクを同時にターゲットする – と,アルゴリズム的なレシピがこれを実現するのかを問うものである。 この問題に対処するため,我々はまず,汎用的改善能力をテストするための構造化された評価セットを開発し,価値推定,政策抽出,資源配分に関するアルゴリズム的および実践的な設計選択を体系的に評価する。 多様なタスクにまたがって、汎用的なポリシーをオンラインで改善できるだけでなく、適切なレシピは、オンライントレーニング中に考慮されていないタスクの一般化とパフォーマンスの向上を可能にする。 この一般化が生じたときの特徴として,トレーニングタスク分布と値ベースRLの使用の両方が重要であることを示す。 我々の知る限りでは、これはロボット基礎モデルのオンラインジェネラリスト改善の最初の証拠である。

関連論文リスト

• Adapting Generalist Robot Policies with Semantic Reinforcement Learning [59.009122725071386]
  ジェネラリストロボットポリシーは、大規模な事前訓練から多様な行動のレパートリーを学ぶ。 本稿では,オンラインインタラクションを通じて,このプロンプト空間を最適化するためのセマンティック・アクション強化学習(SARL)を提案する。 我々は、SARLが基本的に新しい機能をアンロックしていることを示します。
  論文  参考訳（メタデータ） (2026-06-30T17:00:33Z)
• Robust Finetuning of Vision-Language-Action Robot Policies via Parameter Merging [53.41119829581115]
  大規模で多様なデータセットに基づいて訓練された汎用ロボットポリシーは、一般化する能力を実証している。 トレーニングデータに含まれていない新しいタスクにはまだ不足しています。 本研究では,ファインタニング時の一般政策の一般化能力を保全する手法を開発した。
  論文  参考訳（メタデータ） (2025-12-09T08:02:11Z)
• STRAP: Robot Sub-Trajectory Retrieval for Augmented Policy Learning [8.860366821983211]
  STRAPは、トレーニング済みの視覚基盤モデルと動的時間ワープを利用して、大規模なトレーニングコーパスからトラジェクトリのサブシーケンスを堅牢に検索する技術である。 本研究では、事前学習された視覚基盤モデルと動的時間ワープを活用して、大規模学習コーパスからのトラジェクトリのサブシーケンスをロバストに検索するSTRAPを提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:54:06Z)
• RLDG: Robotic Generalist Policy Distillation via Reinforcement Learning [53.8293458872774]
  本稿では,RLDG(Reinforcement Learning Distilled Generalists)を提案する。 我々は、RL生成データで訓練されたジェネラリストポリシーが、人間の実演で訓練された者より一貫して優れていたことを実証する。 以上の結果から,タスク固有RLと一般政策蒸留を組み合わせることで,より有能で効率的なロボット操作システムの開発が期待できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-13T04:57:55Z)
• DisCo RL: Distribution-Conditioned Reinforcement Learning for General-Purpose Policies [116.12670064963625]
  分散条件強化学習(DisCo RL)と呼ばれるオフポリシーアルゴリズムを開発し、コンテキストポリシーを効率的に学習します。 DisCo RLをさまざまなロボット操作タスクで評価し、新しい目標分布への一般化を必要とするタスクの以前の方法を大幅に上回っていることを発見しました。
  論文  参考訳（メタデータ） (2021-04-23T16:51:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。