論文の概要: RM-VLM: From Natural-Language Task Descriptions to Vision-Grounded Reward Machines

• arxiv url: http://arxiv.org/abs/2611.08308v1
• Date: Thu, 05 Nov 2026 17:10:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.591352
• Title: RM-VLM: From Natural-Language Task Descriptions to Vision-Grounded Reward Machines
• Title（参考訳）: RM-VLM:自然言語タスク記述からビジョングラウンドリワードマシンへ
• Abstract要約: RM-VLMは、大規模言語モデルが自然言語タスク記述からRMを生成する新しいアプローチである。 VLMはラベリング機能として機能し、RM誘導政策学習中の画像に基づく観察について、RMの提案を根拠にしている。 我々は,非マルコフ的グリッドワールドナビゲーション,ロボット操作,3次元オブジェクト収集の3領域についてRM-VLMを評価した。
• 参考スコア（独自算出の注目度）: 42.47796452023315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward machines (RMs) have been proposed as a reward formulation in reinforcement learning (RL) to capture non-Markovian tasks where credit assignment depends on history. By representing reward functions as automata, RMs expose the task's temporal structure and allow such rewards to be handled within a Markovian framework. However, they assume a labelling function, a proposition-grounding oracle for observations, which must be manually engineered for each environment, limiting their wider applicability. In this work, we address this limitation by proposing RM-VLM, a novel approach in which a large language model (LLM) generates an RM from a natural-language task description, and a vision-language model (VLM) acts as the labelling function, grounding the RM's propositions over image-based observations during RM-guided policy learning. A VLM-based value function estimator is used to assess the agent's progress towards each RM transition and derive a dense reward signal. We evaluate RM-VLM on three domains covering non-Markovian grid-world navigation, robotic manipulation, and 3D object collection. Our experimental results show that RM-VLM consistently achieves higher task success rates than existing VLM-based reward methods across all tested domains.
• Abstract（参考訳）: Reward Machine (RM) は、クレジット代入が歴史に依存する非マルコフ的タスクを捉えるために、強化学習(RL)における報酬の定式化として提案されている。 報酬関数をオートマチックとして表現することで、RMはタスクの時間構造を公開し、その報酬をマルコフフレームワーク内で処理できるようにする。 しかし、彼らはラベリング関数、つまり観測のための命題基底のオラクルを仮定し、それぞれの環境のために手動で設計し、より広い適用性を制限する必要がある。 本研究では,この制限を,大規模言語モデル (LLM) が自然言語タスク記述からRMを生成する手法であるRM-VLMを提案し,視覚言語モデル (VLM) がラベリング関数として機能し,RM誘導政策学習における画像に基づく観察に対するRMの提案を根拠にしている。 VLMに基づく値関数推定器を用いて、各RM遷移に対するエージェントの進行を評価し、高密度の報酬信号を導出する。 我々は,非マルコフ的グリッドワールドナビゲーション,ロボット操作,3次元オブジェクト収集の3領域についてRM-VLMを評価した。 実験の結果, RM-VLM は既存の VLM ベースの報酬手法よりも高いタスク成功率を達成することがわかった。

関連論文リスト

• Robust Reward Machine Learning and Execution in Noisy Environments [42.026193999521006]
  Reward Machine (RM) は、高レベル命題イベント上の有限状態マシンとして非マルコフ報酬関数を表す。 Prob-IRMは雑音ラベリング関数の存在下でRMを学習する手法である。 個別環境と連続環境の両方において、ポリシー学習に利用します。
  論文  参考訳（メタデータ） (2026-10-31T15:58:05Z)
• VLM-AR3L: Vision-Language Models for Absolute and Relative Rewards in Reinforcement Learning [10.085586108389718]
  本稿では,強化学習のための絶対報酬と相対報酬の両方を学習するフレームワークであるVLM-AR3Lを提案する。 VLM-AR3Lは、自然言語タスクゴールの文脈でエージェントの視覚的観察を解釈し、VLMの生成した選好ラベルから絶対値と相対値の両方の報酬を学習する。 VLM-AR3Lを古典的な制御、操作、オープンワールドの具体化タスクにまたがるベンチマークで評価し、特にMinecraftに焦点を当てた。
  論文  参考訳（メタデータ） (2026-07-01T06:11:59Z)
• SARM2: Multi-Task Stage Aware Reward Modeling for Self Improving Robotic Manipulation [57.131411215593744]
  ロングホライゾン操作のための微調整視覚言語アクション(VLA)ポリシーは、依然として行動クローニングに大きく依存している。 本稿では,MMOE(Multi-gate Mixture-of-Experts)値ヘッドとアクションプリミティブベースのステージ推定器を組み合わせたマルチタスクステージ認識報酬モデルRMを紹介する。 RM 上に構築した SPIRAL は,安価で自律的なロールアウトから VLA ポリシーを改善する,政治上の報酬誘導型フレームワークである。
  論文  参考訳（メタデータ） (2026-06-09T01:46:23Z)
• TOPReward: Token Probabilities as Hidden Zero-Shot Rewards for Robotics [46.912038830356714]
  本稿では,ロボット作業の進捗を推定する時間的価値関数TOPRewardを紹介する。 130以上の異なる実世界のタスクに対するゼロショット評価では、TOPRewardはQwen3-VL上で0.947の平均値順序相関(VOC)を達成する。 我々は,TOPRewardがダウンストリームアプリケーションのための汎用ツールであることを示す。
  論文  参考訳（メタデータ） (2026-02-22T19:25:48Z)
• RewardAnything: Generalizable Principle-Following Reward Models [82.16312590749052]
  リワードモデルは典型的には、固定された嗜好データセットに基づいて訓練される。 これにより、様々な現実世界のニーズへの適応が、あるタスクにおける簡潔さから別のタスクにおける詳細な説明への適応を妨げる。 一般化可能な原理追従型報酬モデルを導入する。 RewardAnythingは、自然言語の原則を明示的に追従するようにデザインされ、訓練された新しいRMである。
  論文  参考訳（メタデータ） (2025-06-04T07:30:16Z)
• Hierarchies of Reward Machines [75.55324974788475]
  リワードマシン(Reward Machine, RM)は、有限状態機械による強化学習タスクの報酬関数を表現するための最近の形式である。 本稿では,RMを他のRMを呼ばせることによって,サブタスク構造をさらに抽象化する形式的手法を提案する。
  論文  参考訳（メタデータ） (2022-05-31T12:39:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。