論文の概要: VSC-RL: Advancing Autonomous Vision-Language Agents with Variational Subgoal-Conditioned Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2502.07949v1
• Date: Tue, 11 Feb 2025 20:57:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:49:52.273160
• Title: VSC-RL: Advancing Autonomous Vision-Language Agents with Variational Subgoal-Conditioned Reinforcement Learning
• Title（参考訳）: VSC-RL: 変分部分制約強化学習による自律型視覚言語エージェントの強化
• Authors: Qingyuan Wu, Jianheng Liu, Jianye Hao, Jun Wang, Kun Shao,
• Abstract要約: 本稿では,変分目標条件付きRL問題として,視覚言語による逐次意思決定タスクを再構成する変分サブゴール条件付きRL(VSC-RL)を提案する。 VSC-RLは、SOTAビジョン言語エージェントよりも優れ、優れた性能と学習効率の顕著な向上を実現している。
• 参考スコア（独自算出の注目度）: 38.68600863590734
• License:
• Abstract: State-of-the-art (SOTA) reinforcement learning (RL) methods enable the vision-language agents to learn from interactions with the environment without human supervision. However, they struggle with learning inefficiencies in tackling real-world complex sequential decision-making tasks, especially with sparse reward signals and long-horizon dependencies. To effectively address the issue, we introduce Variational Subgoal-Conditioned RL (VSC-RL), which reformulates the vision-language sequential decision-making task as a variational goal-conditioned RL problem, allowing us to leverage advanced optimization methods to enhance learning efficiency. Specifically, VSC-RL optimizes the SubGoal Evidence Lower BOund (SGC-ELBO), which consists of (a) maximizing the subgoal-conditioned return via RL and (b) minimizing the subgoal-conditioned difference with the reference policy. We theoretically demonstrate that SGC-ELBO is equivalent to the original optimization objective, ensuring improved learning efficiency without sacrificing performance guarantees. Additionally, for real-world complex decision-making tasks, VSC-RL leverages the vision-language model to autonomously decompose the goal into feasible subgoals, enabling efficient learning. Across various benchmarks, including challenging real-world mobile device control tasks, VSC-RL significantly outperforms the SOTA vision-language agents, achieving superior performance and remarkable improvement in learning efficiency.
• Abstract（参考訳）: 最先端(SOTA)強化学習(RL)手法により、視覚言語エージェントは人間の監督なしに環境との相互作用から学習することができる。 しかし、彼らは現実世界の複雑なシーケンシャルな意思決定タスク、特に粗末な報酬信号と長い水平依存に対処する非効率な学習に苦慮している。 この問題を効果的に解決するために,視覚言語による逐次意思決定タスクを変分目標条件付きRL問題として再構成し,高度な最適化手法を活用して学習効率を向上させるVSC-RL(Variational Subgoal-Conditioned RL)を導入する。 具体的には、VSC-RLはSGC-ELBO(SubGoal Evidence Lower Bound)を最適化する。 a) RL と RL によるサブゴール条件付き戻り値の最大化 (b)基準方針との下位条件差を最小化する。 理論的には、SGC-ELBOは元の最適化目標と等価であり、性能保証を犠牲にすることなく、学習効率の向上を保証する。 さらに、現実世界の複雑な意思決定タスクでは、VSC-RLはビジョン言語モデルを利用して目標を自律的に実行可能なサブゴールに分解し、効率的な学習を可能にする。 実世界のモバイルデバイス制御タスクに挑戦するなど、さまざまなベンチマークを通じて、VSC-RLは、SOTAビジョン言語エージェントを著しく上回り、優れたパフォーマンスと学習効率の大幅な向上を実現している。

関連論文リスト

• Large Language Model-Enhanced Reinforcement Learning for Generic Bus Holding Control Strategies [12.599164162404994]
  本研究では,Large Language Models(LLMs)の文脈内学習と推論機能を活用した自動報酬生成パラダイムを提案する。 提案するLLM拡張RLパラダイムの実現可能性を評価するため,合成単線システムや実世界の多線システムなど,様々なバス保持制御シナリオに適用した。
  論文  参考訳（メタデータ） (2024-10-14T07:10:16Z)
• Enhancing Spectrum Efficiency in 6G Satellite Networks: A GAIL-Powered Policy Learning via Asynchronous Federated Inverse Reinforcement Learning [67.95280175998792]
  ビームフォーミング,スペクトルアロケーション,リモートユーザ機器(RUE)アソシエイトを最適化するために,GAILを利用した新しいポリシー学習手法を提案する。 手動チューニングなしで報酬関数を自動的に学習するために、逆RL(IRL)を用いる。 提案手法は従来のRL手法よりも優れており,コンバージェンスと報酬値の14.6%の改善が達成されている。
  論文  参考訳（メタデータ） (2024-09-27T13:05:02Z)
• Variational Curriculum Reinforcement Learning for Unsupervised Discovery of Skills [25.326624139426514]
  本稿では,VUVC(Value Uncertainty Vari Curriculum Curriculum)と呼ばれる情報理論に基づく教師なしスキル発見手法を提案する。 規則性条件下では、VUVCは、均一なカリキュラムに比べて訪問状態のエントロピーの増加を加速させる。 また,本手法によって発見された技術は,ゼロショット設定で現実のロボットナビゲーションタスクを達成できることを実証した。
  論文  参考訳（メタデータ） (2023-10-30T10:34:25Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• DL-DRL: A double-level deep reinforcement learning approach for large-scale task scheduling of multi-UAV [65.07776277630228]
  分割・征服フレームワーク(DCF)に基づく二重レベル深層強化学習(DL-DRL)手法を提案する。 特に,上層部DRLモデルにおけるエンコーダ・デコーダ構成ポリシネットワークを設計し,タスクを異なるUAVに割り当てる。 また、低レベルDRLモデルにおける別の注意に基づくポリシーネットワークを利用して、各UAVの経路を構築し、実行されたタスク数を最大化する。
  論文  参考訳（メタデータ） (2022-08-04T04:35:53Z)
• Weakly Supervised Disentangled Representation for Goal-conditioned Reinforcement Learning [15.698612710580447]
  本稿では,サンプル効率の向上と政策一般化を目的としたスキル学習フレームワークDR-GRLを提案する。 本稿では,解釈可能かつ制御可能な表現を学習するための空間変換オートエンコーダ(STAE)を提案する。 DR-GRLは, 試料効率と政策一般化において, 従来の手法よりも有意に優れていたことを実証的に実証した。
  論文  参考訳（メタデータ） (2022-02-28T09:05:14Z)
• Persistent Reinforcement Learning via Subgoal Curricula [114.83989499740193]
  VaPRL(Value-accelerated Persistent Reinforcement Learning)は、初期状態のカリキュラムを生成する。 VaPRLは、エピソード強化学習と比較して、3桁の精度で必要な介入を減らす。
  論文  参考訳（メタデータ） (2021-07-27T16:39:45Z)
• Variational Empowerment as Representation Learning for Goal-Based Reinforcement Learning [114.07623388322048]
  本稿では,標準目標条件付きRL (GCRL) を目的変動エンパワーメントによってカプセル化する方法について論じる。 我々の研究は、ゴールベースRLで表現学習技術を評価し、分析し、開発する新しい基礎を築いた。
  論文  参考訳（メタデータ） (2021-06-02T18:12:26Z)
• Improved Context-Based Offline Meta-RL with Attention and Contrastive Learning [1.3106063755117399]
  SOTA OMRLアルゴリズムの1つであるFOCALを、タスク内注意メカニズムとタスク間コントラスト学習目標を組み込むことで改善します。 理論解析と実験を行い、エンドツーエンドおよびモデルフリーの優れた性能、効率、堅牢性を実証します。
  論文  参考訳（メタデータ） (2021-02-22T05:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。