論文の概要: Generalizable Dense Reward for Long-Horizon Robotic Tasks

• arxiv url: http://arxiv.org/abs/2604.00055v1
• Date: Tue, 31 Mar 2026 02:05:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.650161
• Title: Generalizable Dense Reward for Long-Horizon Robotic Tasks
• Title（参考訳）: 長距離ロボット作業のための一般化可能なディエンスリワード
• Authors: Silong Yong, Stephen Sheng, Carl Qi, Xiaojie Wang, Evan Sheehan, Anurag Shivaprasad, Yaqi Xie, Katia Sycara, Yesh Dattatreya,
• Abstract要約: VLM(Vision-Language Models)は、タスクを検証可能なサブタスクに分解する。 自己確実性は、PPOファインタニング全体を通じてステップごとの本質的なガイダンスを提供する。 CHORESベンチマークでは、VLLRは事前訓練されたポリシーよりも最大56%の絶対的な成功率を達成する。
• 参考スコア（独自算出の注目度）: 10.301325532021218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing robotic foundation policies are trained primarily via large-scale imitation learning. While such models demonstrate strong capabilities, they often struggle with long-horizon tasks due to distribution shift and error accumulation. While reinforcement learning (RL) can finetune these models, it cannot work well across diverse tasks without manual reward engineering. We propose VLLR, a dense reward framework combining (1) an extrinsic reward from Large Language Models (LLMs) and Vision-Language Models (VLMs) for task progress recognition, and (2) an intrinsic reward based on policy self-certainty. VLLR uses LLMs to decompose tasks into verifiable subtasks and then VLMs to estimate progress to initialize the value function for a brief warm-up phase, avoiding prohibitive inference cost during full training; and self-certainty provides per-step intrinsic guidance throughout PPO finetuning. Ablation studies reveal complementary benefits: VLM-based value initialization primarily improves task completion efficiency, while self-certainty primarily enhances success rates, particularly on out-of-distribution tasks. On the CHORES benchmark covering mobile manipulation and navigation, VLLR achieves up to 56% absolute success rate gains over the pretrained policy, up to 5% gains over state-of-the-art RL finetuning methods on in-distribution tasks, and up to $10\%$ gains on out-of-distribution tasks, all without manual reward engineering. Additional visualizations can be found in https://silongyong.github.io/vllr_project_page/
• Abstract（参考訳）: 既存のロボット基礎政策は、主に大規模な模倣学習によって訓練されている。 このようなモデルは強力な能力を示すが、分散シフトとエラーの蓄積により、長い水平タスクに苦しむことが多い。 強化学習(RL)はこれらのモデルを微調整できるが、手作業による報酬エンジニアリングなしでは、様々なタスクでうまく機能しない。 本稿では,(1)大規模言語モデル(LLM)とVLM(Vision-Language Model)からの外部報酬をタスク進捗認識に用い,(2)政策自己確実性に基づく内在報酬を併用した高密度報酬フレームワークであるVLLRを提案する。 VLLR は LLM を用いてタスクを検証可能なサブタスクに分解し、次に VLM を用いて短いウォームアップフェーズの値関数の初期化の進捗を見積もる。 VLMに基づく価値初期化は、主にタスク完了効率を改善するが、自己確実性は、特にアウト・オブ・ディストリビューションタスクにおいて、主に成功率を高める。 モバイル操作とナビゲーションをカバーするCHORESベンチマークでは、VLLRは、事前訓練されたポリシーよりも最大56%の絶対的な成功率、非配布タスクにおける最先端のRLファインタニングメソッドに対する最大5%の利益、アウト・オブ・ディストリビューションタスクに対する最大10\%の利益、すべて手作業による報酬エンジニアリングなしで達成している。 さらなる視覚化はhttps://silongyong.github.io/vllr_project_page/にある。

関連論文リスト

• TOPReward: Token Probabilities as Hidden Zero-Shot Rewards for Robotics [46.912038830356714]
  本稿では,ロボット作業の進捗を推定する時間的価値関数TOPRewardを紹介する。 130以上の異なる実世界のタスクに対するゼロショット評価では、TOPRewardはQwen3-VL上で0.947の平均値順序相関(VOC)を達成する。 我々は,TOPRewardがダウンストリームアプリケーションのための汎用ツールであることを示す。
  論文  参考訳（メタデータ） (2026-02-22T19:25:48Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Automated Rewards via LLM-Generated Progress Functions [47.50772243693897]
  大きな言語モデル(LLM)は、様々なタスクにまたがる広いドメイン知識を活用することで、報酬工学を自動化する可能性がある。 本稿では,挑戦的なBi-DexHandsベンチマーク上で,最先端のポリシーを生成可能なLLM駆動の報酬生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-11T18:41:15Z)
• Affordance-Guided Reinforcement Learning via Visual Prompting [51.361977466993345]
  Keypoint-based Affordance Guidance for Improvements (KAGI) は、視覚言語モデル(VLM)によって形成される報酬を自律的なRLに活用する手法である。 自然言語記述によって指定された多様な実世界の操作タスクにおいて、KAGIは自律的なRLのサンプル効率を改善し、30Kのオンライン微調整ステップでタスク完了を成功させる。
  論文  参考訳（メタデータ） (2024-07-14T21:41:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。