論文の概要: RLDISCOVER: LLM-driven co-evolution of reinforcement learning algorithms

• arxiv url: http://arxiv.org/abs/2610.09218v1
• Date: Tue, 06 Oct 2026 23:26:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.645481
• Title: RLDISCOVER: LLM-driven co-evolution of reinforcement learning algorithms
• Title（参考訳）: RLDISCOVER:LLM駆動型強化学習アルゴリズムの共進化
• Abstract要約: モデルフリーディープRLアルゴリズムの自己進化のためのフレームワークであるRLDiscoverを紹介する。 SAC、PPO、DQNの4つのベンチマークスイートでの試験では、平均リターンが大幅に改善された。 これらの発見は、AIにおける自己進化の幅広い役割を指している。
• 参考スコア（独自算出の注目度）: 34.64495740315441
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-guided program evolution has enabled discoveries in mathematics and computational optimization, raising the prospect of reinforcement learning (RL) algorithms that self-evolve to improve how agents learn. However, realizing this prospect faces two obstacles. Joint search over coupled algorithmic components is difficult to scale: simultaneous changes can disrupt learning, while isolated changes overlook their dependencies. Evaluating candidate algorithms also requires costly training, with fitness remaining uncertain across random seeds. We introduce RLDiscover, a framework for the self-evolution of model-free deep RL algorithms. Progressive Co-Evolution advances from targeted component edits to joint evolution, while Progressive Probabilistic Evaluation balances search breadth and evaluation fidelity through staged training and repeated evaluation. Experiments across SAC, PPO, and DQN on four benchmark suites show substantial improvements in mean return, with per-family median gains of 32%-84% and a peak return ratio of approximately 363x over a near-zero baseline. These gains include transitions from failed learning to successful task completion, and improvements persist when evolution starts from stronger open-source implementations. On measured SAC locomotion runs, evaluation uses approximately one-fifteenth the estimated compute required to fully evaluate the same candidate pool. Remarkably, independent searches repeatedly discover interpretable combinations of adaptive robust losses, progress-dependent value targets, and running statistics, with selected programs transferring to unseen tasks. These findings point toward a broader role for self-evolution in AI: discovering interpretable algorithms that improve how agents learn.
• Abstract（参考訳）: LLM誘導プログラムの進化により、数学と計算最適化の発見が可能となり、エージェントの学習方法を改善するために自己進化する強化学習(RL)アルゴリズムの見通しが高まった。 しかし、この見通しは2つの障害に直面している。 並列的な変更は学習を妨害し、分離された変更は依存関係を見渡す。 候補アルゴリズムの評価にはコストのかかるトレーニングも必要であり、ランダムな種子の適合性は不確実である。 モデルフリーディープRLアルゴリズムの自己進化のためのフレームワークであるRLDiscoverを紹介する。 プログレッシブ・コエボリューション(Progressive Co-Evolution)は、目標コンポーネントの編集から共同進化へと進化し、プログレッシブ・確率評価(Progressive Probabilistic Evaluation)は、ステージドトレーニングと繰り返し評価を通じて、探索幅と評価フィリティのバランスをとる。 SAC, PPO, DQNの4つのベンチマークスイートでの試験では、平均リターンが大幅に改善され、家族ごとの平均リターンは32%-84%、ピークリターン率はほぼゼロのベースラインで約363倍となった。 これらの成果には、失敗に終わった学習から成功したタスク完了への移行が含まれており、オープンソースの実装から進化が始まっても改善は続く。 実測SAC走行では、同じ候補プールを十分に評価するのに必要となる推定計算の約5分の1が評価される。 注目すべきことに、独立検索は適応的ロバスト損失、進行依存値目標、および実行統計の解釈可能な組み合わせを繰り返し発見し、選択されたプログラムは見当たらないタスクに遷移する。 これらの発見は、AIにおける自己進化の幅広い役割、すなわちエージェントの学習方法を改善する解釈可能なアルゴリズムの発見を指している。

関連論文リスト

• Teaching LLMs to Self-Evolve: Cultivating Core Meta-Skills with Reinforcement Learning [51.17262419591891]
  AlphaEvolveが示すように、環境フィードバックによる反復的自己進化によるテスト時間のスケーリングは、顕著なパフォーマンス向上を示している。 本稿では,データ合成パイプライン,進化対応強化学習,推論時進化探索によるメタスキル開発を目的としたMetaEvolveを提案する。
  論文  参考訳（メタデータ） (2026-07-24T04:35:29Z)
• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• EvoTrainer: Co-Evolving LLM Policies and Training Harnesses for Autonomous Agentic Reinforcement Learning [77.47708145025832]
  EvoTrainerは、ポリシーとトレーニングサイドハーネスを共同開発した、自律的なトレーニングフレームワークである。 ロールアウトレベルの証拠を診断し、診断を見直し、介入をバックテストし、再利用可能なスキルを蓄積する。
  論文  参考訳（メタデータ） (2026-06-02T03:47:48Z)
• Evolutionary Discovery of Reinforcement Learning Algorithms via Large Language Models [3.890720884484336]
  強化学習アルゴリズムは、通常手作業で設計され、修正される学習更新ルールによって定義される。 本稿では,完全学習手順を実装した更新ルールを直接検索することで,強化学習アルゴリズムを発見するための進化的枠組みを提案する。
  論文  参考訳（メタデータ） (2026-03-30T13:28:01Z)
• ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking [84.07076200941474]
  ArenaRLは、ポイントワイドスカラースコアからグループ内相対ランクにシフトする強化学習パラダイムである。 我々は,グループ内対角アリーナを構築し,安定した有利な信号を得るためのトーナメントベースのランキングスキームを考案する。 実験により、ArenaRLは標準のRLベースラインを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2026-01-10T08:43:07Z)
• Lookahead Tree-Based Rollouts for Enhanced Trajectory-Level Exploration in Reinforcement Learning with Verifiable Rewards [48.321707628011005]
  Lookahead Tree-Based Rollouts (LATR) は、軌道レベルの多様性を明確に促進するために設計された新しいロールアウト戦略である。 LATRはポリシー学習を平均で131%加速し、最終パス@1パフォーマンスを4.2%向上させる。
  論文  参考訳（メタデータ） (2025-10-28T11:12:02Z)
• Dynamic Learning Rate for Deep Reinforcement Learning: A Bandit Approach [2.743898388459522]
  深層強化学習(RL)では、学習速度は安定性と性能の両方に重大な影響を及ぼすが、環境と政策が進化するにつれて、トレーニング中に最適な価値がシフトする。 標準崩壊スケジューラは単調収束を仮定し、しばしばこれらのダイナミクスと不一致し、早めまたは遅れた調整をもたらす。 LRRLは、学習手順ではなく、政策性能に基づいて動的に学習率を選択するメタ学習手法である。
  論文  参考訳（メタデータ） (2024-10-16T14:15:28Z)
• Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and Stability [67.8426046908398]
  汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。 本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
  論文  参考訳（メタデータ） (2022-04-08T20:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。