論文の概要: From Demonstrations to Rewards: Test-Time Prompt Optimization for VLM Reward Models

• arxiv url: http://arxiv.org/abs/2606.00083v1
• Date: Fri, 22 May 2026 16:04:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-07 20:42:22.554185
• Title: From Demonstrations to Rewards: Test-Time Prompt Optimization for VLM Reward Models
• Title（参考訳）: デモからリワードへ:VLMリワードモデルのテスト時間プロンプト最適化
• Authors: Christian Gumbsch, Leonardo Barcellona, Lennard Schünemann, Platon Karageorgis, Andrii Zadaianchuk, Zehao Wang, Sergey Zakharov, Fabien Despinoy, Rahaf Aljundi, Efstratios Gavves,
• Abstract要約: 強化学習は正確な報酬関数に依存しており、しばしば手作りやロボット工学のような現実世界の応用では利用できない。 近年の研究では、前訓練された視覚言語モデル(VLM)を報酬モデルとしてゼロショット推論能力について検討している。 Demo2Rewardは、シミュレーションされたロボットタスクやポリシーバックボーンで、既存のゼロショットと少数ショットのVLM報酬モデルより一貫して優れています。
• 参考スコア（独自算出の注目度）: 40.30751311757326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning relies on accurate reward functions, which are often hand-crafted or even unavailable in real-world applications, such as robotics. Recent work has explored the zero-shot reasoning capabilities of pre-trained Vision-Language Models (VLMs) as reward models. However, without careful prompt engineering, these approaches tend to produce suboptimal rewards, where false positive predictions can severely degrade downstream policy learning. In robotics, limited datasets comprising expert demonstrations are often collected to bootstrap policy learning. This scenario provides an opportunity to optimize a reward model prior policy training. We propose Demo2Reward a test-time adaptation technique to optimize the language instruction of a reward model based on a few demonstrations (3-10 trajectories) to reduce false positives while preserving true positives. Crucially, this requires no additional model training or computation resources during policy learning. We show that Demo2Reward consistently outperforms existing zero- and few-shot VLM reward models across a range of simulated robotic tasks and policy backbones. Finally, we demonstrate that Demo2Reward effectively transfers to a real-world robotic learning scenario, enabling policy learning without manually engineering a reward function.
• Abstract（参考訳）: 強化学習は正確な報酬関数に依存しており、しばしば手作りやロボット工学のような現実世界の応用では利用できない。 近年の研究では、前訓練された視覚言語モデル(VLM)を報酬モデルとしてゼロショット推論能力について検討している。 しかし、注意深いプロンプトエンジニアリングがなければ、これらのアプローチは、誤った肯定的な予測が下流の政策学習を著しく低下させるような、最適以下の報酬を生み出す傾向にある。 ロボット工学では、専門家によるデモンストレーションを含む限られたデータセットは、しばしばブートストラップポリシー学習のために収集される。 このシナリオは、ポリシートレーニング前の報酬モデルを最適化する機会を提供します。 実例(3-10トラジェクトリ)に基づいて報酬モデルの言語指導を最適化し,真正を保ちながら偽陽性を減らすためのテスト時間適応手法であるDemo2Rewardを提案する。 重要なことに、これはポリシー学習中に追加のモデルトレーニングや計算リソースを必要としない。 Demo2Rewardは、シミュレーションされたロボットタスクやポリシーバックボーンで、既存のゼロショットVLM報酬モデルよりも一貫して優れています。 最後に、Demo2Rewardは実世界のロボット学習シナリオに効果的に移行し、報酬関数を手動で設計することなくポリシー学習を可能にすることを実証する。

関連論文リスト

• Large Reward Models: Generalizable Online Robot Reward Generation with Vision-Language Models [19.819472980239826]
  我々は最先端のVLMに基づく堅牢でスケーラブルな報酬モデルを開発する。 我々は、これらのVLM報酬を用いて、閉ループ方式で準最適動作を補正するモデルを導出する。
  論文  参考訳（メタデータ） (2026-03-17T02:22:16Z)
• RoboReward: General-Purpose Vision-Language Reward Models for Robotics [124.34685604054312]
  視覚言語モデル(VLM)は、自動報酬モデルとして期待されているが、実際のロボットタスクにおけるそれらの効果は理解されていない。 大規模な実ロボットコーパス上に構築されたロボティクス報酬データセットとベンチマークであるRoboRewardを導入することで、このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2026-01-02T12:47:34Z)
• Residual Reward Models for Preference-based Reinforcement Learning [11.797520525358564]
  優先度に基づく強化学習(PbRL)は、報酬信号の特定が難しい環境で、高性能なポリシーを学習する方法を提供する。 PbRLは報酬モデルでのトレーニングを必要とするため、収束速度が遅い。 本稿では,Residual Reward Model (RRM) を用いた事前知識の有効活用手法を提案する。
  論文  参考訳（メタデータ） (2025-07-01T09:43:57Z)
• Affordance-Guided Reinforcement Learning via Visual Prompting [51.361977466993345]
  Keypoint-based Affordance Guidance for Improvements (KAGI) は、視覚言語モデル(VLM)によって形成される報酬を自律的なRLに活用する手法である。 自然言語記述によって指定された多様な実世界の操作タスクにおいて、KAGIは自律的なRLのサンプル効率を改善し、30Kのオンライン微調整ステップでタスク完了を成功させる。
  論文  参考訳（メタデータ） (2024-07-14T21:41:29Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• A Framework for Efficient Robotic Manipulation [79.10407063260473]
  単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。 デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
  論文  参考訳（メタデータ） (2020-12-14T22:18:39Z)
• Semi-supervised reward learning for offline reinforcement learning [71.6909757718301]
  トレーニングエージェントは通常、報酬機能が必要ですが、報酬は実際にはほとんど利用できず、エンジニアリングは困難で手間がかかります。 限定されたアノテーションから学習し,ラベルなしデータを含む半教師付き学習アルゴリズムを提案する。 シミュレーションロボットアームを用いた実験では,動作のクローン化が大幅に向上し,真理の報奨によって達成される性能に近づいた。
  論文  参考訳（メタデータ） (2020-12-12T20:06:15Z)
• Learning from Suboptimal Demonstration via Self-Supervised Reward Regression [1.2891210250935146]
  実証から学ぶ(LfD)は、ロボット工学の民主化を目指す。 現代のLfD技術、例えば逆強化学習(IRL)は、ユーザーが少なくとも最適なデモを提供すると仮定する。 これらの手法が誤った仮定をしており、不安定で劣化した性能に悩まされていることを示す。 本研究では,卓球におけるトップスピンストライクをロボットに教える物理的な実演を行い,ユーザの実演よりも32%,トップスピンが40%向上した。
  論文  参考訳（メタデータ） (2020-10-17T04:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。