論文の概要: Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning in Online Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2207.14800v3
• Date: Sat, 13 Apr 2024 12:08:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 03:10:06.501955
• Title: Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning in Online Reinforcement Learning
• Title（参考訳）: コントラスト的UCB:オンライン強化学習における効果的なコントラスト的自己監督学習
• Authors: Shuang Qiu, Lingxiao Wang, Chenjia Bai, Zhuoran Yang, Zhaoran Wang,
• Abstract要約: 対照的な自己指導型学習は、(深層)強化学習(RL)の実践にうまく統合されている 我々は,低ランク遷移を伴うマルコフ決定過程(MDP)とマルコフゲーム(MG)のクラスにおいて,コントラスト学習によってRLをどのように強化できるかを検討する。 オンライン環境下では,MDPやMGのオンラインRLアルゴリズムと対照的な損失を生かした,新しい高信頼境界(UCB)型アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 92.18524491615548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In view of its power in extracting feature representation, contrastive self-supervised learning has been successfully integrated into the practice of (deep) reinforcement learning (RL), leading to efficient policy learning in various applications. Despite its tremendous empirical successes, the understanding of contrastive learning for RL remains elusive. To narrow such a gap, we study how RL can be empowered by contrastive learning in a class of Markov decision processes (MDPs) and Markov games (MGs) with low-rank transitions. For both models, we propose to extract the correct feature representations of the low-rank model by minimizing a contrastive loss. Moreover, under the online setting, we propose novel upper confidence bound (UCB)-type algorithms that incorporate such a contrastive loss with online RL algorithms for MDPs or MGs. We further theoretically prove that our algorithm recovers the true representations and simultaneously achieves sample efficiency in learning the optimal policy and Nash equilibrium in MDPs and MGs. We also provide empirical studies to demonstrate the efficacy of the UCB-based contrastive learning method for RL. To the best of our knowledge, we provide the first provably efficient online RL algorithm that incorporates contrastive learning for representation learning. Our codes are available at https://github.com/Baichenjia/Contrastive-UCB.
• Abstract（参考訳）: 特徴表現を抽出する能力を考えると、対照的な自己教師型学習は、(深層)強化学習(RL)の実践にうまく統合され、様々な応用における効率的な政策学習につながっている。 その壮大な経験的成功にもかかわらず、RLに対する対照的な学習の理解はいまだ解明されていない。 このようなギャップを狭めるために、低ランク遷移を持つマルコフ決定過程(MDP)とマルコフゲーム(MG)のクラスにおいて、RLがコントラスト学習によってどのように強化されるかを検討する。 両モデルに対して、コントラスト損失を最小限に抑えて、低ランクモデルの正しい特徴表現を抽出することを提案する。 さらに, オンライン環境下では, MDP や MG のオンラインRL アルゴリズムと対照的な損失を伴って, 新たな高信頼境界 (UCB) 型アルゴリズムを提案する。 さらに,本アルゴリズムが真の表現を復元し,MDPとMGの最適方針とナッシュ平衡を学習する際のサンプル効率を同時に達成することの理論的証明を行う。 また,UCBに基づくRLのコントラスト学習法の有効性を実証するための実証的研究を行った。 我々の知識を最大限に活用するために、表現学習にコントラスト学習を取り入れた最初の証明可能なオンラインRLアルゴリズムを提供する。 私たちのコードはhttps://github.com/Baichenjia/Contrastive-UCB.comで公開されています。

関連論文リスト

• iQRL -- Implicitly Quantized Representations for Sample-efficient Reinforcement Learning [24.684363928059113]
  自己教師付き潜在状態整合性損失のみを用いた効率的な表現学習法を提案する。 我々は,潜在表現を定量化することにより,高い性能を実現し,表現崩壊を防止する。 iQRL:暗黙的に量子化強化学習(Quantized Reinforcement Learning)という手法は,任意のモデルフリーなRLアルゴリズムと互換性がある。
  論文  参考訳（メタデータ） (2024-06-04T18:15:44Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• M2CURL: Sample-Efficient Multimodal Reinforcement Learning via Self-Supervised Representation Learning for Robotic Manipulation [0.7564784873669823]
  マルチモーダルコントラスト非教師強化学習(M2CURL)を提案する。 提案手法は,効率的な表現を学習し,RLアルゴリズムの高速収束に寄与する,新しいマルチモーダル自己教師学習技術を用いている。 Tactile Gym 2シミュレータ上でのM2CURLの評価を行い、異なる操作タスクにおける学習効率を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-01-30T14:09:35Z)
• Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
  大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。 適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。 我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-07T15:03:42Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• Implicit Offline Reinforcement Learning via Supervised Learning [83.8241505499762]
  監視学習によるオフライン強化学習(RL)は、さまざまな専門レベルのポリシーによって収集されたデータセットからロボットスキルを学ぶための、シンプルで効果的な方法である。 我々は、暗黙的なモデルが返却情報を利用して、固定されたデータセットからロボットスキルを取得するために、明示的なアルゴリズムにマッチするか、あるいは性能を向上するかを示す。
  論文  参考訳（メタデータ） (2022-10-21T21:59:42Z)
• Contrastive Learning as Goal-Conditioned Reinforcement Learning [147.28638631734486]
  強化学習(RL)では,優れた表現が与えられると,課題の解決が容易になる。 ディープRLはこのような優れた表現を自動的に取得する必要があるが、事前の作業では、エンドツーエンドの方法での学習表現が不安定であることが多い。 比較的)表現学習法は,RLアルゴリズムとして自己にキャスト可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-15T14:34:15Z)
• Improved Context-Based Offline Meta-RL with Attention and Contrastive Learning [1.3106063755117399]
  SOTA OMRLアルゴリズムの1つであるFOCALを、タスク内注意メカニズムとタスク間コントラスト学習目標を組み込むことで改善します。 理論解析と実験を行い、エンドツーエンドおよびモデルフリーの優れた性能、効率、堅牢性を実証します。
  論文  参考訳（メタデータ） (2021-02-22T05:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。