論文の概要: RMTL: Reinforced Micro-task Learning for Long-Horizon Manipulation with VLM Rewards

• arxiv url: http://arxiv.org/abs/2606.26175v1
• Date: Wed, 24 Jun 2026 10:32:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.022024
• Title: RMTL: Reinforced Micro-task Learning for Long-Horizon Manipulation with VLM Rewards
• Title（参考訳）: RMTL: VLMリワードを用いた長距離マニピュレーションのための強化マイクロタスク学習
• Abstract要約: ロボット操作のための強化学習では、しばしば手動で報酬関数を設計する必要がある。 1つのグローバルなプロンプトは、ランダムな初期条件を持つ長距離操作タスクには大きすぎると論じる。 本稿では,操作タスクを言語記述マイクロタスクの小さなセットに分解する手法であるReinforced Micro-Task Learning (RMTL)を提案する。
• 参考スコア（独自算出の注目度）: 0.688204255655161
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) for robotic manipulation often requires manually designing a dense reward function, which is difficult to tune and often fragile, or learning a reward from human demonstrations or preferences, which can be expensive. A recent line of work uses pretrained vision-language models (VLMs) as zero-shot reward models, replacing these costs with a single text prompt. However, we argue that a single global prompt is too coarse for long-horizon manipulation tasks with randomized initial conditions. The single-prompt VLM reward is near-flat for much of the trajectory, making early progress hard for the agent to detect. We propose Reinforced Micro-Task Learning (RMTL), an approach that decomposes a manipulation task into a small set of language-described micro-tasks and trains the agent to switch between them. At each step, the agent receives a multi-view VLM reward computed using the prompt of the currently active micro-task and averaged across multiple camera views to reduce the effect of view-specific occlusions. A reverse curriculum gradually exposes the agent to harder initial conditions, while a PPO worker is first trained with a fixed distance-based rule that selects the active micro-task. We then replace this rule with a learned hierarchical manager, turning rule-based phase selection into a fully learned hierarchical policy. We instantiate RMTL on the Fetch manipulation environment using three short stage-specific prompts and without additional prompt tuning. Experiments show that RMTL provides more informative reward signals than single-prompt VLM rewards, enabling faster learning. These results suggest that decomposing VLM rewards into micro-task-specific language prompts can substantially improve the scalability of language-guided reinforcement learning for robotic manipulation.
• Abstract（参考訳）: ロボット操作のための強化学習(Reinforcement Learning, RL)は、しばしば手動で複雑な報酬関数を設計する必要がある。 最近の研究では、事前訓練された視覚言語モデル(VLM)をゼロショット報酬モデルとして使用し、これらのコストを1つのテキストプロンプトに置き換えている。 しかし、1つの大域的なプロンプトは、ランダムな初期条件を持つ長距離操作タスクには大きすぎると論じる。 単発のVLM報酬は、ほとんどの軌道に対してほぼ平坦であり、エージェントが検出しにくい。 本稿では,言語記述されたマイクロタスクの小さなセットに操作タスクを分解する手法であるReinforced Micro-Task Learning (RMTL)を提案する。 各ステップにおいて、エージェントは、現在アクティブなマイクロタスクのプロンプトを用いて計算されたマルチビューVLM報酬を受信し、複数のカメラビューにわたって平均化することにより、ビュー固有のオクルージョンの効果を低減する。 逆のカリキュラムは、エージェントをより厳しい初期条件に徐々に露出させ、一方、PPOワーカーは、アクティブなマイクロタスクを選択する固定距離ベースのルールで訓練される。 そして、このルールを学習された階層的マネージャに置き換え、ルールベースのフェーズ選択を完全に学習された階層的ポリシーに変換する。 我々は、3つの短いステージ固有のプロンプトと追加のプロンプトチューニングを使わずに、Fetch操作環境上でRMTLをインスタンス化する。 実験により、RMTLは単発のVLM報酬よりも情報的な報奨信号を提供し、より高速な学習を可能にすることが示された。 これらの結果は、VLM報酬をマイクロタスク固有の言語プロンプトに分解することで、ロボット操作のための言語誘導強化学習のスケーラビリティを大幅に向上させることができることを示唆している。

関連論文リスト

• SARM2: Multi-Task Stage Aware Reward Modeling for Self Improving Robotic Manipulation [57.131411215593744]
  ロングホライゾン操作のための微調整視覚言語アクション(VLA)ポリシーは、依然として行動クローニングに大きく依存している。 本稿では,MMOE(Multi-gate Mixture-of-Experts)値ヘッドとアクションプリミティブベースのステージ推定器を組み合わせたマルチタスクステージ認識報酬モデルRMを紹介する。 RM 上に構築した SPIRAL は,安価で自律的なロールアウトから VLA ポリシーを改善する,政治上の報酬誘導型フレームワークである。
  論文  参考訳（メタデータ） (2026-06-09T01:46:23Z)
• Generalizable Dense Reward for Long-Horizon Robotic Tasks [10.301325532021218]
  VLM(Vision-Language Models)は、タスクを検証可能なサブタスクに分解する。 自己確実性は、PPOファインタニング全体を通じてステップごとの本質的なガイダンスを提供する。 CHORESベンチマークでは、VLLRは事前訓練されたポリシーよりも最大56%の絶対的な成功率を達成する。
  論文  参考訳（メタデータ） (2026-03-31T02:05:07Z)
• GoalLadder: Incremental Goal Discovery with Vision-Language Models [38.35578010611503]
  視覚環境における単一言語命令からRLエージェントを学習する新しい手法を提案する。 GoalLadderは、自然言語で指定されたタスクの完了にエージェントを近づける状態の漸進的な発見で動作する。 以前の作業とは異なり、GoalLadderはVLMのフィードバックを完全に信頼していない。
  論文  参考訳（メタデータ） (2025-06-19T15:28:27Z)
• Grounding Multimodal LLMs to Embodied Agents that Ask for Help with Reinforcement Learning [49.20643505834273]
  家庭環境下で活動する身体的エージェントは、曖昧で特定されていない人間の指示を解釈しなければならない。 LLM生成報酬を用いたオンライン強化学習(RL)を用いた視覚言語行動(VLA)ポリシーとして,マルチモーダル大規模言語モデル(MLLM)を微調整する新しいアプローチを提案する。 以上の結果から,RLを微細化したMLLMは,すべてのベースラインを顕著なマージン(10.4～16.5%)で上回り,新規なシーンやタスクに適していることが示された。
  論文  参考訳（メタデータ） (2025-04-01T15:41:50Z)
• Reward Machine Inference for Robotic Manipulation [1.6135226672466307]
  Reward Machines (RM) は、RLが拡張された時間的地平線上でポリシーをトレーニングする能力を向上する。 本稿では,ロボット操作タスクの視覚的実演から直接RMを学習するための新しいLfD手法を提案する。 提案手法を視覚に基づく操作タスクに適用し,推論されたRMがタスク構造を正確に把握し,RLエージェントが最適なポリシーを効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2024-12-13T12:32:53Z)
• Exploring RL-based LLM Training for Formal Language Tasks with Programmed Rewards [49.7719149179179]
  本稿では,PPOを用いた強化学習(RL)の実現可能性について検討する。 我々は,生成した出力の質を自動的に評価するために,明示的な報酬関数をプログラムできるプログラミングなどの形式言語で表されるタスクに焦点をあてる。 以上の結果から,2つの形式言語タスクに対する純粋なRLベースのトレーニングは困難であり,単純な算術タスクにおいても成功は限られていることがわかった。
  論文  参考訳（メタデータ） (2024-10-22T15:59:58Z)
• CluMo: Cluster-based Modality Fusion Prompt for Continual Learning in Visual Question Answering [23.360714576158905]
  大規模視覚言語モデル(VLM)は、様々なアプリケーション領域で大幅な性能向上を示している。 タスク上でVLMを微調整すると、その一般化能力と新しいタスクの学習能力が低下する。 本稿では,VLM の新しいプロンプトベースCL法,すなわち $textbfClu$ster-based $textbfMo$dality Fusion Prompt (textbfCluMo)を提案する。
  論文  参考訳（メタデータ） (2024-08-21T16:07:49Z)
• Vision-Language Models are Zero-Shot Reward Models for Reinforcement Learning [12.628697648945298]
  強化学習(Reinforcement Learning, RL)は、報酬関数を手動で指定するか、あるいは大量のフィードバックから報酬モデルを学ぶことを必要とする。 本稿では,事前学習された視覚言語モデル (VLM) をゼロショット報酬モデル (RM) として用いて,自然言語によるタスクの特定を行う。
  論文  参考訳（メタデータ） (2023-10-19T17:17:06Z)
• Mastering Robot Manipulation with Multimodal Prompts through Pretraining and Multi-task Fine-tuning [49.92517970237088]
  我々はマルチモーダルなプロンプトを理解するためにロボットを訓練する問題に取り組む。 このようなタスクは、視覚と言語信号の相互接続と相補性を理解するロボットの能力にとって大きな課題となる。 マルチモーダルプロンプトを用いてロボット操作を行うためのポリシーを学習する効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-14T22:24:58Z)
• Language Reward Modulation for Pretraining Reinforcement Learning [61.76572261146311]
  本稿では,強化学習のための事前学習信号としてLRFの機能を活用することを提案する。 我々の VLM プレトレーニングアプローチは,従来の LRF の使い方とは違い,ロボット操作タスクにおけるサンプル効率の学習を温めることができる。
  論文  参考訳（メタデータ） (2023-08-23T17:37:51Z)
• Adapting Pre-trained Language Models to Vision-Language Tasks via Dynamic Visual Prompting [83.21164539349273]
  事前学習型言語モデル (PLM) はマルチメディア研究においてその役割を担っている。 本稿では,視覚言語推論タスクのスタンドアロンモデルとしてのPLMの探索に焦点をあてる。 ダイナミックビジュアル・プロンプティング(DVP)と呼ばれるPLMのための新しいトランスファー学習手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T07:19:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。