論文の概要: Automating Potential-based Reward Shaping with Vision Language Model Guidance
- arxiv url: http://arxiv.org/abs/2606.27180v1
- Date: Thu, 25 Jun 2026 15:45:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.336301
- Title: Automating Potential-based Reward Shaping with Vision Language Model Guidance
- Title（参考訳）: 視覚言語モデル誘導による電位ベース逆整形の自動生成
- Abstract要約: 本稿では視覚言語モデルからのフィードバックから直接潜在的な機能を学ぶVLM誘導PBRSフレームワークを紹介する。
このアプローチはポテンシャルに基づく報酬形成に基づいているため、元の最適ポリシーを保っている。
結果として得られた選好ラベルは精度が低いが、実証的な証拠は、選好ラベルが学習を加速するためにも使用できることを示している。
- 参考スコア（独自算出の注目度）: 2.8360662552057323
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse rewards are inherently challenging for reinforcement learning agents as they lack intermediate feedback to guide exploration and to correctly attribute the sparse success rewards to relevant parts of the trajectory. Naive reward shaping can induce reward hacking, yielding policies that exploit auxiliary signals instead of solving the intended task. Potential-based reward shaping (PBRS) guarantees preservation of the optimal policy set, but requires the definition of a heuristic potential function over the state space. In this work, we introduce the VLM-guided PBRS framework VLM-PBRS that learns the potential function directly from vision language model (VLM) feedback. We query a lightweight VLM to obtain preferences over image pairs and train a model of the potential function using these preferences. As this approach is based on potential-based reward shaping, it preserves the original optimal policies, and removes the need for expert-designed reward shaping terms. Because large VLMs are prohibitively expensive to invoke repeatedly during policy learning, we employ smaller, more computationally efficient VLMs. Although the resulting preference labels are less accurate, empirical evidence shows that the preference labels can still be used to accelerate learning. We validate our method empirically in the Meta-World and Franka Kitchen environments and highlight the connection between VLM preference label accuracy and sample efficiency improvements. Our contributions are threefold: (1) the first application of VLM preference-based learning to synthesize a potential function for PBRS, (2) a principled, low-cost solution that leverages small VLMs, and (3) extensive empirical demonstration of improved sample efficiency and robustness to reward hacking.
- Abstract（参考訳）: スパース報酬は、探索をガイドする中間的フィードバックが欠如し、スパース成功報酬を軌道の関連部分に正しく属性付けるため、強化学習エージェントにとって本質的に困難である。
Naive reward Shapingは、意図したタスクを解決するのではなく、補助的なシグナルを利用するポリシーを提供する、報酬のハッキングを引き起こす可能性がある。
可能性に基づく報酬形成(PBRS)は、最適政策集合の保存を保証するが、状態空間上のヒューリスティックポテンシャル関数の定義を必要とする。
本稿では,視覚言語モデル(VLM)からのフィードバックから直接潜在機能を学習するPBRSフレームワークであるVLM-PBRSを紹介する。
我々は、軽量なVLMに問い合わせて、画像ペアよりも好みを求め、これらの好みを使ってポテンシャル関数のモデルを訓練する。
このアプローチは潜在的な報酬形成に基づいているため、元々の最適ポリシーを維持し、専門家が設計した報酬形成用語の必要性を取り除く。
政策学習において,大規模なVLMを繰り返し呼び出すのは非常に高価であるため,より小さく,より計算効率のよいVLMを用いる。
結果として得られた選好ラベルは精度が低いが、実証的な証拠は、選好ラベルが学習を加速するためにも使用できることを示している。
メタワールドおよびフランカキッチン環境において,本手法を実証的に検証し,VLM選好ラベルの精度と試料効率の改善との関係を明らかにする。
筆者らの貢献は,(1)PBRSのポテンシャル関数を合成するためのVLM選好学習の最初の応用,(2)小さなVLMを活用する原理的かつ低コストなソリューション,(3)ハッキングに報酬を与えるためのサンプル効率と堅牢性の広範な実証実験である。
関連論文リスト
- Beyond Pairwise Feedback: Listwise Vision-Language Supervision for Preference-Based Reward Learning [0.0]
視覚言語モデル(VLM)は、強化学習のための強力な指導源として登場した。
本研究では,VLM生成した嗜好と報奨学習のためのPlackett-Luceモデルを組み合わせた最初のフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-26T04:09:21Z) - Large Reward Models: Generalizable Online Robot Reward Generation with Vision-Language Models [19.819472980239826]
我々は最先端のVLMに基づく堅牢でスケーラブルな報酬モデルを開発する。
我々は、これらのVLM報酬を用いて、閉ループ方式で準最適動作を補正するモデルを導出する。
論文 参考訳（メタデータ） (2026-03-17T02:22:16Z) - PROF: An LLM-based Reward Code Preference Optimization Framework for Offline Imitation Learning [29.373324685358753]
本稿では,自然言語記述から実行可能報酬関数コードを生成し,改善するためのフレームワークであるPROFと,単一専門家の軌跡を提案する。
また,環境相互作用やRLトレーニングを必要とせず,新たな報酬関数品質評価とランキング戦略であるReward Preference Ranking(RPR)を提案する。
論文 参考訳（メタデータ） (2025-11-14T14:38:02Z) - Learning to Reason without External Rewards [100.27210579418562]
RLVR(Reinforcement Learning with Verifiable Rewards)による複雑な推論のための大規模言語モデル(LLM)の訓練は、費用がかかるドメイン固有の監督に依存して効果的であるが制限されている。
内部フィードバックからの強化学習(Reinforcement Learning from Internal Feedback, RLIF)は、LLMが外部の報酬やラベル付きデータなしで本質的な信号から学習できるフレームワークである。
本稿では,モデル自身の信頼度を利用したRLIF手法であるIntuitorについて,その唯一の報奨信号として自己確実性(self-certainty)を提案する。
論文 参考訳（メタデータ） (2025-05-26T07:01:06Z) - Preference VLM: Leveraging VLMs for Scalable Preference-Based Reinforcement Learning [17.59802090014789]
視覚言語モデル(VLM)と選択的フィードバックを統合するフレームワークであるPrefVLMを紹介する。
提案手法はVLMを利用して初期選好ラベルを生成する。
メタワールド操作タスクの実験は、PrefVLMが最先端の手法に匹敵する成功率または優れた成功率を達成することを示した。
論文 参考訳（メタデータ） (2025-02-03T18:50:15Z) - Fine-Tuning Language Models with Reward Learning on Policy [68.70065254564642]
人間からのフィードバックからの強化学習(RLHF)は、大きな言語モデル(LLM)を人間の好みに合わせる効果的なアプローチとして現れている。
その人気にもかかわらず、(固定された)報酬モデルが不正確な流通に悩まされることがある。
本稿では、政策サンプルを用いて報酬モデルを洗練し、流通を継続する、教師なしのフレームワークであるポリシーに関する報酬学習(RLP)を提案する。
論文 参考訳（メタデータ） (2024-03-28T10:02:10Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳（メタデータ） (2024-02-25T20:07:13Z) - Code as Reward: Empowering Reinforcement Learning with VLMs [37.862999288331906]
本稿では,事前学習した視覚言語モデルから高密度報酬関数を生成するために,Code as Reward (VLM-CaR) というフレームワークを提案する。
VLM-CaRは、VLMを直接クエリする際の計算負担を大幅に削減する。
このアプローチによって生成される高密度な報酬は、様々な離散的かつ連続的な環境において非常に正確であることを示す。
論文 参考訳（メタデータ） (2024-02-07T11:27:45Z) - Dense Reward for Free in Reinforcement Learning from Human Feedback [64.92448888346125]
我々は報酬モデルが単にスカラー出力よりも多くの情報を含んでいるという事実を活用している。
私たちは、これらの注意重みを使って、完了全体に沿って報酬を再分配します。
経験的に、トレーニングを安定化し、学習速度を加速し、実際は、より良い局所最適性をもたらす可能性があることを示す。
論文 参考訳（メタデータ） (2024-02-01T17:10:35Z) - Language Reward Modulation for Pretraining Reinforcement Learning [61.76572261146311]
本稿では,強化学習のための事前学習信号としてLRFの機能を活用することを提案する。
我々の VLM プレトレーニングアプローチは,従来の LRF の使い方とは違い,ロボット操作タスクにおけるサンプル効率の学習を温めることができる。
論文 参考訳（メタデータ） (2023-08-23T17:37:51Z) - Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in
Vision-Language Models [76.410400238974]
モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。
CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。
提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
論文 参考訳（メタデータ） (2023-05-29T11:03:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。