論文の概要: Harnessing VLM in Embodied RL: From Reward Regressor to Success Detector via Exploration-Augmented Key-Observation Gating

• arxiv url: http://arxiv.org/abs/2610.15401v1
• Date: Sun, 11 Oct 2026 07:00:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 01:18:07.347462
• Title: Harnessing VLM in Embodied RL: From Reward Regressor to Success Detector via Exploration-Augmented Key-Observation Gating
• Title（参考訳）: エンボダイドRLにおけるハーネスングVLM:探索拡張キーオブザーバゲーティングによる逆回帰器から後続検出器へ
• Abstract要約: 本稿では,VLM の成功報酬を探索拡張キーオブザーブレーションゲーティング (VLMeg) を用いて実現し,VLM を具体的報酬設計に活用することを提案する。 我々は、VLMegが、12の挑戦的な報酬なしタスクにおいて、高度なVLMベースベースラインよりも優れた、最先端のRLを実現することを実証する。
• 参考スコア（独自算出の注目度）: 24.42964257143738
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: VLMs provide promising solutions to embodied reward design. Most current methods that train VLMs as reward regressors not only require extensive annotations but are also primarily designed for finetuning pretrained policies, and perform less well in the more challenging from-scratch RL setting. This issue stems from a fundamental mismatch: regressing precise rewards is misaligned with what VLMs naturally excel at. We posit that it is more aligned with VLMs' inherent multi-modal VQA capabilities for the models to function as success detectors, and propose VLM success reward via Exploration-Augmented Key-Observation Gating (VLMeg) to well harness VLM for embodied reward design. As the core of VLMeg, the proposed exploration-augmented key-observation gating first determines whether the current RL episode is judgment-worthy based on its similarity to a generated success trajectory. Then, the key observation with the lowest confusion from the judgment-worthy episode will be selected for VLM evaluation as episodic reward. This gating mechanism not only avoids redundant calls but also enables higher detection accuracy of VLM. Considering the sparsity of judgment-worthy episodes, the advanced exploration incentives based on the generated trajectory are introduced, enabling more efficient exploration toward judgment-worthy trajectories for more VLM reward triggers and thus gaining higher RL efficiency. Extensive experiments in MetaWorld demonstrate VLMeg achieves state-of-the-art from-scratch RL, outperforming advanced VLM-based baselines on 12 challenging reward-free tasks. Furthermore, VLMeg also enables effective RL without any ground-truth reward in 3 challenging real-world experiments. Code will be open after acceptance at https://github.com/Raina915/VLMeg.
• Abstract（参考訳）: VLMは、具現化された報酬設計のための有望なソリューションを提供する。 報酬レグレッタとしてVLMをトレーニングする現在のほとんどの方法は、豊富なアノテーションを必要とするだけでなく、事前訓練されたポリシーを微調整するためにも設計されており、より困難なRL設定においてあまりうまく機能しない。 正確な報酬の回帰は、VLMが自然に優れているものとは一致しない。 本稿では,VLMのマルチモーダルVQA能力により,モデルが成功検知器として機能し,VLMの成功報酬を探索拡張鍵観測ゲーティング(VLMeg)を用いて提案し,VLMを具体的報酬設計に活用することを提案する。 VLMegのコアとして、提案された探索強化キーオブザーブレーションゲーティングは、まず、生成された成功軌道との類似性に基づいて、現在のRLエピソードが判断に値するか否かを判断する。 次に, 感性評価において, 感性評価において, 判断にふさわしいエピソードから最も低い混乱を伴う重要な観察結果が選択される。 このゲーティング機構は冗長な呼び出しを避けるだけでなく、VLMの検出精度を高めることができる。 評価に値するエピソードの空間性を考慮すると、生成された軌跡に基づく高度な探索インセンティブを導入し、より効率的な判断に値する軌跡への探索を可能にして、より多くのVLM報酬トリガを実現し、より高いRL効率を得ることができる。 MetaWorldの大規模な実験では、VLMegが最先端のRLを実現し、12の挑戦的な報酬なしタスクにおいて、高度なVLMベースのベースラインを上回っている。 さらに、VLMegは実世界の3つの挑戦的な実験において、実効的なRLを可能にする。 コードはhttps://github.com/Raina915/VLMeg.comで受け入れられる。

関連論文リスト

• Automating Potential-based Reward Shaping with Vision Language Model Guidance [2.8360662552057323]
  本稿では視覚言語モデルからのフィードバックから直接潜在的な機能を学ぶVLM誘導PBRSフレームワークを紹介する。 このアプローチはポテンシャルに基づく報酬形成に基づいているため、元の最適ポリシーを保っている。 結果として得られた選好ラベルは精度が低いが、実証的な証拠は、選好ラベルが学習を加速するためにも使用できることを示している。
  論文  参考訳（メタデータ） (2026-06-25T15:45:57Z)
• Test-Time Hinting for Black-Box Vision-Language Models [11.005886421208709]
  Test-Time Hintingは、単一のVLMコールによるVLMパフォーマンスを改善し、ブラックボックスAPIアクセスのみを必要とする。 テスト時間ヒンティングは、自然画像のVQAベンチマークにおいて、複数の閉重VLMの精度を向上することを示す。
  論文  参考訳（メタデータ） (2026-05-13T14:35:22Z)
• From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
  検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。 最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。 このようにして、RLVRRは報酬を2つの次元に分解する。
  論文  参考訳（メタデータ） (2026-01-26T14:39:58Z)
• Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values [53.72318444646282]
  RLEV(Reinforcement Learning with Explicit Human Values)を提案する。 RLEVは、Large Language Model (LLM) 最適化を直接、定量化された人間の値信号と整合させる。 RLEVは、複数のRLアルゴリズムとモデルスケールで、精度のみのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-10-23T04:15:22Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• GTR: Guided Thought Reinforcement Prevents Thought Collapse in RL-based VLM Agent Training [62.536191233049614]
  検証結果報酬(RLVR)を用いた強化学習は、大規模言語モデル(LLM)におけるチェーン・オブ・ソート(CoT)推論を効果的にスケールアップした。 本研究は、24点やALFWorldの具体化タスクなど、複雑なカードゲームに関する広範な実験を通じてこの問題を調査する。 報酬が行動結果にのみ基づく場合、RLはVLMにおけるCoT推論の動機付けに失敗し、代わりに思考崩壊と呼ばれる現象が生じる。
  論文  参考訳（メタデータ） (2025-03-11T15:17:02Z)
• FuRL: Visual-Language Models as Fuzzy Rewards for Reinforcement Learning [18.60627708199452]
  オンライン強化学習(RL)における事前学習型視覚言語モデル(VLM)の活用について検討する。 本稿ではまず,VLMをRLタスクの報酬として適用する際の報酬ミスアライメントの問題を同定する。 ファジィVLM報酬支援RL(FuRL)という軽量微調整法を導入する。
  論文  参考訳（メタデータ） (2024-06-02T07:20:08Z)
• Code as Reward: Empowering Reinforcement Learning with VLMs [37.862999288331906]
  本稿では,事前学習した視覚言語モデルから高密度報酬関数を生成するために,Code as Reward (VLM-CaR) というフレームワークを提案する。 VLM-CaRは、VLMを直接クエリする際の計算負担を大幅に削減する。 このアプローチによって生成される高密度な報酬は、様々な離散的かつ連続的な環境において非常に正確であることを示す。
  論文  参考訳（メタデータ） (2024-02-07T11:27:45Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [76.410400238974]
  モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。 CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。 提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。