論文の概要: Self-Supervised On-Policy Reinforcement Learning via Contrastive Proximal Policy Optimisation

• arxiv url: http://arxiv.org/abs/2605.13554v1
• Date: Wed, 13 May 2026 13:58:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.089968
• Title: Self-Supervised On-Policy Reinforcement Learning via Contrastive Proximal Policy Optimisation
• Title（参考訳）: コントラスト的政策最適化による自己監督型オン・ポリティクス強化学習
• Abstract要約: CPPO(Contrastive Proximal Policy optimisation)を紹介する。 CPPOは、コントラストQ値から直接ポリシーの利点を導き出す、政治上のコントラストRLアルゴリズムである。 連続・離散・単エージェント・協調マルチエージェントタスクにおけるCPPOの評価を行った。
• 参考スコア（独自算出の注目度）: 3.8479372725359418
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Contrastive reinforcement learning (CRL) learns goal-conditioned Q-values through a contrastive objective over state-action and goal representations, removing the need for hand-crafted reward functions. Despite impressive success in achieving viable self-supervised learning in RL, all existing CRL algorithms rely on off-policy optimisation and are mostly constrained to continuous action spaces, with little research invested in discrete environments. This leaves CRL disconnected from widely used and effective, modern on-policy training pipelines adopted across both single-agent and multi-agent RL in continuous and discrete environments. To establish a first connection, we introduce Contrastive Proximal Policy Optimisation (CPPO). CPPO is an on-policy contrastive RL algorithm that derives policy advantages directly from contrastive Q-values and optimises them via the standard PPO objective, without requiring a reward function or a replay buffer. We evaluate CPPO across continuous and discrete, single-agent and cooperative multi-agent tasks. Whilst the existence of an on-policy approach is inherently useful, we observe that \textbf{CPPO not only significantly outperforms the previous CRL baselines in 14 out of 18 tasks, but also matches or exceeds PPO's performance, which uses hand-crafted dense rewards, in 12 out of the 18 tasks tested.}
• Abstract（参考訳）: コントラスト強化学習(CRL)は、状態行動や目標表現に対する対照的な目的を通じて、目標条件付きQ値を学び、手作りの報酬関数の必要性を取り除く。 RLで実行可能な自己教師型学習を実現するという驚くべき成功にもかかわらず、既存のCRLアルゴリズムはすべて、政治外の最適化に依存しており、主に連続的な行動空間に制約されており、離散環境にはほとんど投資されていない。 これによりCRLは、単一エージェントと複数エージェントのRLの両方で、連続的および離散的な環境で採用されている、広く使用され、効果的で近代的なオンライントレーニングパイプラインから切り離される。 第1の接続を確立するため,我々はCPPO(Contrastive Proximal Policy Optimisation)を導入する。 CPPOは、コントラストQ値から直接ポリシーの利点を導出し、報酬関数やリプレイバッファを必要とせず、標準のPPO目標によって最適化する、政治上のコントラストRLアルゴリズムである。 連続・離散・単エージェント・協調マルチエージェントタスクにおけるCPPOの評価を行った。 オンライン型アプローチの存在は本質的に有用であるが,従来のCRLベースラインを18タスク中14タスクで大きく上回るだけでなく,手作りの高密度報酬を用いたPPOのパフォーマンスを18タスク中12タスク中12タスクで上回っている。 ※

関連論文リスト

• Inference-Time Policy Alignment for Fair Reinforcement Learning [1.9342617041096457]
  深層強化学習エージェントの政策は、しばしば新しい性能基準に適応するために厳格でコストがかかる。 本稿では,行動依存型福祉スコアを用いて行動確率を調節する乗法的政策形成フレームワークを提案する。 我々のフレームワークは汎用的で、どのディープRLエージェントとも互換性がある。
  論文  参考訳（メタデータ） (2026-07-31T18:00:50Z)
• Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
  表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。 テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。 実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
  論文  参考訳（メタデータ） (2026-06-09T16:45:57Z)
• TOPPO: Rethinking PPO for Multi-Task Reinforcement Learning with Critic Balancing [1.9552387050709823]
  タスク間の勾配条件付けと学習のバランスを改善するモジュールセットであるTOPPOを提案する。 TOPPOは、公表されたSACファミリーやARSファミリーのベースラインよりも、平均とテールタスクのパフォーマンスが向上する。 提案手法は, 適切な最適化により, MTRLの法外アプローチに対抗し, 越えることが可能であることを実証した。
  論文  参考訳（メタデータ） (2026-05-12T03:40:28Z)
• OGPO: Sample Efficient Full-Finetuning of Generative Control Policies [53.42266064673132]
  ジェネレーティブコントロールポリシー(GCP)は、ロボット学習に有効なパラメータ化として登場した。 この研究は、GCPを微調整するためのサンプル効率であるOGPO(Off-policy Generative Policy Optimization)を導入している。 OGPOはマルチタスク設定、高精度挿入、デクスタラス制御にまたがる操作タスクにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-05-04T18:36:40Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• Information Gain-based Policy Optimization: A Simple and Effective Approach for Multi-Turn LLM Agents [28.145430029174577]
  大規模言語モデル(LLM)ベースのエージェントは、外部環境と対話する能力を高めるために強化学習(RL)でますます訓練されている。 既存のアプローチは通常、最終回答でのみ提供される結果に基づく報酬に依存します。 本稿では,情報ゲインに基づくポリシー最適化(IGPO)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:32Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Adversarial Policy Optimization for Offline Preference-based Reinforcement Learning [8.087699764574788]
  オフライン優先型強化学習(PbRL)のための効率的なアルゴリズムを提案する。 APPOは、明示的な信頼セットに頼ることなく、サンプルの複雑性境界を保証する。 我々の知る限り、APPOは統計的効率と実用性の両方を提供する最初のオフラインPbRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-03-07T10:35:01Z)
• Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
  拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。 モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。 具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。 また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
  論文  参考訳（メタデータ） (2024-05-25T10:45:46Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)
• Conservative Q-Learning for Offline Reinforcement Learning [106.05582605650932]
  CQLは既存のオフラインRLメソッドよりも大幅に優れており、多くの場合、ファイナルリターンの2～5倍高いポリシを学習しています。 理論的には、CQLは現在のポリシーの価値の低いバウンダリを生成し、理論的改善保証を伴う政策学習手順に組み込むことができることを示す。
  論文  参考訳（メタデータ） (2020-06-08T17:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。