論文の概要: Adapting Generalist Robot Policies with Semantic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.31958v1
• Date: Tue, 30 Jun 2026 17:00:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.320495
• Title: Adapting Generalist Robot Policies with Semantic Reinforcement Learning
• Title（参考訳）: セマンティック強化学習による汎用ロボット政策の適応
• Abstract要約: ジェネラリストロボットポリシーは、大規模な事前訓練から多様な行動のレパートリーを学ぶ。 本稿では,オンラインインタラクションを通じて,このプロンプト空間を最適化するためのセマンティック・アクション強化学習(SARL)を提案する。 我々は、SARLが基本的に新しい機能をアンロックしていることを示します。
• 参考スコア（独自算出の注目度）: 59.009122725071386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generalist robot policies learn a diverse repertoire of behaviors from large-scale pretraining. In principle, this makes them excellent priors for downstream adaptation via reinforcement learning (RL). In practice, however, standard RL methods leveraging this prior optimize directly over robot actions, requiring the base policy's action distribution to be close to that of a performant policy from the start. This assumption breaks down for complex or long-horizon tasks that fall outside the pretraining distribution. Our key insight is that, for sufficiently expressive generalist policies, language prompts are an effective alternative space for learning to solve such tasks: modulating language inputs elicits skills already within the policy's repertoire, which can be composed to solve tasks beyond its zero-shot capabilities. We propose Semantic Action Reinforcement Learning (SARL), which learns to optimize this prompt space through online interaction, treating the generalist policy as a controllable skill prior. Importantly, leveraging pretrained skills rather than learning new ones from scratch yields structured, semantically meaningful exploration and highly efficient online improvement, and learning to modulate prompts through experience grounds them in induced real-world behaviors for robust task-solving. Across real-world settings and simulated benchmarks, we show SARL unlocks fundamentally new capabilities -- adapting VLA behavior to solve complex, long-horizon tasks -- and significantly outperforms existing approaches for improving robot behavior in deployment.
• Abstract（参考訳）: ジェネラリストロボットポリシーは、大規模な事前訓練から多様な行動のレパートリーを学ぶ。 原則として、これらは強化学習(RL)による下流適応に優れた先行性をもたらす。 しかし、実際には、この事前最適化をロボットアクションを直接的に活用する標準的なRL手法は、基本ポリシーのアクション分布を最初からパフォーマンスポリシーに近いものにする必要がある。 この仮定は、事前訓練された分布の外にある複雑な、あるいは長い水平なタスクに対して破られる。 我々の重要な洞察は、十分に表現力のあるジェネラリストポリシーでは、言語プロンプトはそのようなタスクを解くための効果的な代替空間であるということだ。 本稿では、オンラインインタラクションを通じて、この迅速な空間を最適化することを学ぶセマンティック・アクション強化学習(SARL)を提案し、ジェネラリスト・ポリシーを事前の制御可能なスキルとして扱う。 重要なのは、スクラッチから新しいスキルを学ぶことよりも、事前訓練されたスキルを活用すること、構造化された意味のある探索と高度に効率的なオンライン改善、そして経験を通してプロンプトを調整することを学ぶことは、それらが堅牢なタスク解決のために引き起こされる現実世界の行動に基礎を置いていることだ。 実世界の設定とシミュレートされたベンチマークを通じて、SARLは基本的に新しい機能 -- 複雑で水平なタスクを解決するためにVLAの動作を適用する -- をアンロックし、デプロイメントにおけるロボットの動作を改善するための既存のアプローチよりも大幅に優れています。

関連論文リスト

• Improving Robotic Generalist Policies via Flow Reversal Steering [92.97477771370428]
  汎用ポリシーは多様なロボットデータセットから幅広いスキルを学ぶことができる。 新しい課題を解決し、改善するためには、ポリシーのリッチな振る舞いから適切なアクションを推論し、呼び出す方法が必要です。 本稿では,フローリバーサルステアリング (FRS) を提案し,フローポリシーを逆に通すことで,最適だが合理的な動作をとる手法を提案し,それらを一般の動作モードにマッピングする。
  論文  参考訳（メタデータ） (2026-06-11T17:59:45Z)
• PRISM: Personalized Refinement of Imitation Skills for Manipulation via Human Instructions [0.6299766708197883]
  本稿では,ロボット操作における模倣ポリシーのための命令条件改善手法であるPRISMを提案する。 アプローチはImitation Learning (IL)とReinforcement Learning (RL)フレームワークをシームレスなパイプラインにブリッジする。 シミュレーションシナリオにおけるピック・アンド・プレイス・タスクの結果,提案手法は人的フィードバックを伴わずにポリシーを上回ることを示した。
  論文  参考訳（メタデータ） (2026-03-05T17:05:08Z)
• On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning [61.38273866396522]
  ビジョン・ランゲージ・アクションモデルが汎用ロボット学習の強力なパラダイムとして登場した。 現在の手法は、シミュレーションや物理世界の展開に挑戦するには相変わらず適していない。 本稿では,VLA フレームワークのテスト時間強化学習について紹介する。
  論文  参考訳（メタデータ） (2026-01-11T01:51:30Z)
• SOP: A Scalable Online Post-Training System for Vision-Language-Action Models [15.86316960521611]
  視覚言語アクション(VLA)モデルは、大規模な事前訓練を通じて強力な一般化を実現するが、現実の展開には幅広い汎用性に加えて、専門家レベルのタスク能力が必要である。 VLAモデルの既存のトレーニング後のアプローチは、通常、オフライン、シングルロボット、タスク固有である。 本稿では,一般VLAモデルのオンライン,分散,マルチタスクのポストトレーニングを物理世界に直接適用可能なスケーラブルオンラインポストトレーニングシステムを提案する。
  論文  参考訳（メタデータ） (2026-01-06T14:25:11Z)
• Agentic Policy Optimization via Instruction-Policy Co-Evolution [44.74237684380034]
  INSPOは、命令-政治共進化のための新しいフレームワークである。 強化学習ループの動的コンポーネントとして命令最適化を統合する。 実験では、INSPOは計算オーバーヘッドを極端に増加させるだけで、かなりの性能向上を達成する。
  論文  参考訳（メタデータ） (2025-12-01T17:56:29Z)
• STRAP: Robot Sub-Trajectory Retrieval for Augmented Policy Learning [8.860366821983211]
  STRAPは、トレーニング済みの視覚基盤モデルと動的時間ワープを利用して、大規模なトレーニングコーパスからトラジェクトリのサブシーケンスを堅牢に検索する技術である。 本研究では、事前学習された視覚基盤モデルと動的時間ワープを活用して、大規模学習コーパスからのトラジェクトリのサブシーケンスをロバストに検索するSTRAPを提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:54:06Z)
• Robotic Control via Embodied Chain-of-Thought Reasoning [86.6680905262442]
  学習したロボット制御ポリシーの鍵となる制限は、トレーニングデータの外部で一般化できないことである。 視覚言語行動モデル(VLA)に関する最近の研究は、大規模なインターネット事前学習型視覚言語モデルを使用することで、その堅牢性と一般化能力を大幅に向上させることができることを示した。 ロボットの動作を予測する前に、VLAに対して、計画、サブタスク、動作、視覚的接地機能について複数の推論を行うために、VLAに対してEmbodied Chain-of-Thought Reasoning (ECoT)を導入する。
  論文  参考訳（メタデータ） (2024-07-11T17:31:01Z)
• LGR2: Language Guided Reward Relabeling for Accelerating Hierarchical Reinforcement Learning [23.878883576384002]
  大規模言語モデル(LLM)は論理的推論、文脈内学習、コード生成において顕著な能力を示している。 LGR2 は LLM を利用して高次ポリシーのための言語誘導報酬関数を生成する新しい HRL フレームワークである。 スパース環境における試料効率をさらに高めるため, 目標条件付き後視体験レザベリングを統合した。
  論文  参考訳（メタデータ） (2024-06-09T18:40:24Z)
• PEAR: Primitive Enabled Adaptive Relabeling for Boosting Hierarchical Reinforcement Learning [25.84621883831624]
  階層的強化学習(HRL)は、時間的抽象化と探索の増大により、複雑な長い地平線タスクを解く可能性がある。 プリミティブ・アダプティブ・アダプティブ・レバーベリング(PEAR)を提案する。 まず,いくつかの専門家による実験を適応的に実施し,効率的なサブゴール管理を実現する。 次に、強化学習(RL)と模倣学習(IL)を併用してHRLエージェントを共同最適化する。
  論文  参考訳（メタデータ） (2023-06-10T09:41:30Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• Accelerating Robotic Reinforcement Learning via Parameterized Action Primitives [92.0321404272942]
  強化学習は汎用ロボットシステムの構築に使用することができる。 しかし、ロボット工学の課題を解決するためにRLエージェントを訓練することは依然として困難である。 本研究では,ロボット行動プリミティブ(RAPS)のライブラリを手動で指定し,RLポリシーで学習した引数をパラメータ化する。 動作インターフェースへの簡単な変更は、学習効率とタスクパフォーマンスの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2021-10-28T17:59:30Z)
• Adaptable Automation with Modular Deep Reinforcement Learning and Policy Transfer [8.299945169799795]
  本稿では,タスクのモジュール化と伝達学習の概念に基づいて,ハイパーアクタソフトアクタクリティカル(HASAC)RLフレームワークを開発し,検証する。 HASACフレームワークは、新しい仮想ロボット操作ベンチマークであるMeta-Worldでテストされている。 数値実験により、HASACは、報酬値、成功率、タスク完了時間の観点から、最先端の深部RLアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-11-27T03:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。