論文の概要: Repulsive Population Policy Gradients for Behaviorally Diverse Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.36425v1
• Date: Tue, 27 Oct 2026 00:16:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.452907
• Title: Repulsive Population Policy Gradients for Behaviorally Diverse Reinforcement Learning
• Title（参考訳）: 行動多変量強化学習のための反動型人口政策グラディエント
• Abstract要約: textbfRepulsive textbfPopulation textbfOptimization (textbfRePPO)を導入する。 textbfRePPOはPPOに適応し、集団に依存した動的形状の報酬を使用して、多様で高品質なポリシーのコンパクトな集団を共同で最適化する。 ピクセルベースのタスクでは、従来のQD-RLメソッドの大部分を実現できないような大きなポリシーがあるが、RePPOは標準のPPOと同等の品質を維持しつつ、かなり高い多様性を実現している。
• 参考スコア（独自算出の注目度）: 9.54064669252635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The goal of Quality-Diversity Reinforcement Learning (QD-RL) is to find a population of high-performing policies that solve a decision-making problem in diverse ways. Despite recent progress, QD-RL methods predominantly rely on evolutionary operators--including black-box optimizers, mutations, and crossovers--to facilitate exploration and induce diversity. Scaling these methods becomes increasingly costly as policies and behavior spaces grow larger. Building on the Soft QD view of quality-diversity optimization, we introduce \textbf{Re}pulsive \textbf{P}opulation \textbf{P}olicy \textbf{O}ptimization (\textbf{RePPO}), which adapts PPO to jointly optimize a compact population of diverse, high-quality policies using a population-dependent, dynamically shaped reward. On standard continuous-control tasks, RePPO achieves a strong quality-diversity tradeoff compared with state-of-the-art QD-RL methods. Ablations further characterize this tradeoff by examining how each component affects individual quality and collective diversity. To assess RePPO's scalability, we extend our evaluation to learning from pixels and fine-tuning large language models. In pixel-based tasks, where large policies make most traditional QD-RL methods infeasible, RePPO maintains quality on par with standard PPO while achieving substantially higher diversity. Its successful application to language model fine-tuning further demonstrates, for the first time, that QD-RL methods can scale to this domain. Together, these results show that directly optimizing compact populations with RePPO provides a scalable approach to QD-RL across increasingly complex domains.
• Abstract（参考訳）: 品質多様性強化学習(QD-RL)の目的は、様々な方法で意思決定問題を解決するハイパフォーマンスな政策の集団を見つけることである。 近年の進歩にもかかわらず、QD-RL法は進化のオペレーター(ブラックボックスオプティマイザ、突然変異、クロスオーバーを含む)に大きく依存している。 ポリシーや行動空間が大きくなるにつれて、これらの手法のスケーリングはますますコストがかかる。 品質多様性最適化のソフトQDビューに基づいて、人口依存型動的形状の報酬を用いて、PPOを併用して、多種多様な高品質なポリシーのコンパクトな集団を最適化する、 \textbf{Re}pulsive \textbf{P}olicy \textbf{O}ptimization (\textbf{RePPO})を導入する。 標準的な連続制御タスクでは、RePPOは最先端のQD-RL法と比較して、強い品質と多様性のトレードオフを達成する。 アブレーションは、各コンポーネントが個々の品質や集団の多様性にどのように影響するかを調べることで、このトレードオフをさらに特徴付ける。 RePPOのスケーラビリティを評価するために、我々は評価をピクセルから学習し、大きな言語モデルを微調整する。 ピクセルベースのタスクでは、従来のQD-RLメソッドの大部分を実現できないような大きなポリシーがあるが、RePPOは標準のPPOと同等の品質を維持しつつ、かなり高い多様性を実現している。 言語モデルの微調整を成功させたことは、QD-RLメソッドがこの領域に拡張できることを初めて証明している。 これらの結果は、RePPOでコンパクトな集団を直接最適化することは、ますます複雑な領域にわたるQD-RLにスケーラブルなアプローチを提供することを示している。

関連論文リスト

• Self-Supervised On-Policy Reinforcement Learning via Contrastive Proximal Policy Optimisation [3.8479372725359418]
  CPPO(Contrastive Proximal Policy optimisation)を紹介する。 CPPOは、コントラストQ値から直接ポリシーの利点を導き出す、政治上のコントラストRLアルゴリズムである。 連続・離散・単エージェント・協調マルチエージェントタスクにおけるCPPOの評価を行った。
  論文  参考訳（メタデータ） (2026-05-13T13:58:49Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
  我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。 次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。 GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-08T18:59:24Z)
• Polychromic Objectives for Reinforcement Learning [63.37185057794815]
  強化学習微調整(Reinforcement Learning fine-tuning, RLFT)は、下流タスクの事前訓練されたポリシーを改善するための主要なパラダイムである。 多様な世代の探索・改良を明示的に実施する政策手法の目的について紹介する。 この目的を最適化するために、PPO(Pximal Policy Optimization)をどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2025-09-29T19:32:11Z)
• Evolutionary Policy Optimization [47.30139909878251]
  オンライン強化学習(RL)アルゴリズムは、高いパフォーマンスとトレーニング安定性のために広く利用されているが、より大きなバッチサイズでスケールするのに苦労している。 本稿では、EAのスケーラビリティと多様性と、政策勾配の性能と安定性を組み合わせたハイブリッドである進化的政策最適化(EPO)を提案する。
  論文  参考訳（メタデータ） (2025-03-24T18:08:54Z)
• The Hitchhiker's Guide to Human Alignment with *PO [43.4130314879284]
  我々は,高次パラメータの変動に対して同時に頑健であるアルゴリズムの同定に焦点をあてる。 解析の結果,広範に採用されているDPO法は,品質が劣る長大な応答を連続的に生成することがわかった。 これらの結果から,DPOアルゴリズムであるLN-DPOの精度が向上し,品質を損なうことなく,より簡潔な応答が得られることが示唆された。
  論文  参考訳（メタデータ） (2024-07-21T17:35:20Z)
• Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
  拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。 モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。 具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。 また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
  論文  参考訳（メタデータ） (2024-05-25T10:45:46Z)
• Proximal Policy Gradient Arborescence for Quality Diversity Reinforcement Learning [14.16864939687988]
  環境を徹底的に探求し、新しい多様なスキルを学ぶ、一般的に有能なエージェントを訓練することは、ロボット学習の長期的な目標である。 品質多様性強化学習(QD-RL: Quality Diversity Reinforcement Learning)は、両分野の最高の側面をブレンドする新興研究分野である。
  論文  参考訳（メタデータ） (2023-05-23T08:05:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。