論文の概要: Evolutionary Discovery of Developmental Reward Schedules in Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.20858v1
• Date: Thu, 18 Jun 2026 18:47:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 12:32:27.219045
• Title: Evolutionary Discovery of Developmental Reward Schedules in Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習における発達的リワードスケジューリングの進化的発見
• Authors: Alan Nadelsticher Ruvalcaba,
• Abstract要約: 本稿では,開発報酬スケジュールの発見のための進化的枠組みを提案する。 エージェンシー、ノベルティ、および反応性は、時間によって異なる重みによって結合される。 本研究は,進化的最適化を開発報酬スケジュール発見のための有望なアプローチとして位置づけた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The temporal structure of reward composition in reinforcement learning (RL) is typically hand-designed and held fixed throughout training, leaving the progression of motivational priorities largely unexplored. In this work, we propose an evolutionary framework for discovering developmental reward schedules, in which three distinct biologically inspired motivational components -- agency, novelty, and reactivity -- are combined through time-varying weights that dynamically shift over the course of training. Evaluated on two sparse-reward MiniGrid tasks: DoorKey-6x6 and KeyCorridorS3R1, our framework compares the generalizability of four evolutionary algorithms: CMA-ES, xNES, DE, and L-SHADE against an extrinsically motivated baseline (our main comparison point), and three additional hand-designed methods. On DoorKey-6x6, all evolved methods outperform the non-evolved baselines, with L-SHADE achieving the best performance -- an approximate relative mean improvement of 11.4% over the extrinsic only baseline. On KeyCorridorS3R1, CMA-ES achieves the best overall performance, with the remaining evolved methods showing weaker and less reliable generalization capability compared to the extrinsic only baseline. Interestingly, the discovered schedules diverge from our defined developmental ordering, with novelty consistently emerging as the dominant early signal during training, across both tasks. Collectively, our results position evolutionary optimization as a promising approach for developmental reward schedule discovery in deep reinforcement learning, and suggest that what evolution finds to be optimal in computational settings may differ from what it finds to be optimal in biology. The code for this project can be found at: https://github.com/alannadels/Evolutionary_RL.git.
• Abstract（参考訳）: 強化学習(RL)における報酬構成の時間構造は、通常手作業で設計され、訓練を通して固定され、モチベーションの優先順位の進行はほとんど未解明のままである。 本研究では,3つの生物学的にインスパイアされた動機づけ成分(エージェンシー,ノベルティ,リアクティビティ)が,トレーニングの過程で動的に変化する時間変化重みによって結合される,発達的報酬スケジュールを発見するための進化的枠組みを提案する。 DoorKey-6x6とKeyCorridorS3R1の2つのスパース逆ミニグリッドタスクに基づいて評価し、CMA-ES, xNES, DE, L-SHADEの4つの進化的アルゴリズムの一般化可能性と、本質的に動機付けられたベースライン(主比較点)と、さらに3つの手設計法を比較した。 DoorKey-6x6では、すべての進化したメソッドが進化していないベースラインより優れており、L-SHADEは最高のパフォーマンスを達成している。 KeyCorridorS3R1では、CMA-ESが全体的なパフォーマンスを最高に達成し、残りの進化した手法は、外部の唯一のベースラインに比べて弱く信頼性の低い一般化能力を示している。 興味深いことに、発見されたスケジュールは、私たちが定義した発達順序とは異なっており、新奇性は、両方のタスクでトレーニング中に支配的な初期信号として一貫して現れています。 本研究の結果は,進化的最適化を深層強化学習における発達的報酬スケジュール発見の有望なアプローチとして位置づけるとともに,進化が計算環境において最適であると考えられるものは,生物学において最適であると考えられるものと異なる可能性があることを示唆している。 このプロジェクトのコードは、https://github.com/alannadels/Evolutionary_RL.git.comで見ることができる。

関連論文リスト

• CoTEvol: Self-Evolving Chain-of-Thoughts for Data Synthesis in Mathematical Reasoning [56.866286835885994]
  コテボル(CoTEvol)は、遺伝進化の枠組みであり、個体群に基づく推論の軌跡の探索としてチェイン・オブ・ソート(Chain-of-Thought)の生成を推し進める。 軽量でタスク対応のフィットネス機能は、進化過程を正確で多様な推論へと導くように設計されている。 実証的に、CoTEvolは正しいCoT合成の成功を30%以上改善し、構造的多様性を高め、効率を著しく改善した。
  論文  参考訳（メタデータ） (2026-04-16T08:29:22Z)
• CORAL: Towards Autonomous Multi-Agent Evolution for Open-Ended Discovery [67.47220507982522]
  大規模言語モデル(LLM)ベースの進化は、オープンな発見のための有望なアプローチである。 オープンエンド問題における自律的マルチエージェント進化のための最初のフレームワークであるCORALを紹介する。 コーラルは、厳格な制御を長期にわたるエージェントに置き換え、探索し、反射し、協力する。
  論文  参考訳（メタデータ） (2026-04-02T05:59:06Z)
• Controlled Self-Evolution for Algorithmic Code Optimization [33.82967000330864]
  自己進化的手法は、反復的な"生成-検証-精細"サイクルを通じてコード生成を強化する。 既存のアプローチでは、限られた予算内で優れた複雑さを持つソリューションを見つけることができません。 本稿では3つのキーコンポーネントからなる制御自己進化(CSE)を提案する。
  論文  参考訳（メタデータ） (2026-01-12T09:23:13Z)
• Differentiable Evolutionary Reinforcement Learning [41.96953381133274]
  本稿では,最適な報酬信号の自律的発見を可能にする二段階フレームワークであるDerL(Deriable Evolutionary Reinforcement Learning)を提案する。 DERLはメタ最適化において微分可能であり、内部ループ検証性能を強化学習を通じてメタrを更新する信号として扱う。 実験結果から,ALFWorldとScienceWorldにおけるDerLの最先端性能は,報酬に依存した手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-12-15T14:50:08Z)
• ThetaEvolve: Test-time Learning on Open Problems [110.5756538358217]
  In-context LearningとReinforcement Learning(RL)の両方をテスト時に効率的にスケールするために、AlphaEvolveを単純化し拡張するオープンソースのフレームワークであるThetaEvolveを紹介します。 テスト時にRLを使用するThetaEvolveは、推論のみのベースラインよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-11-28T18:58:14Z)
• Learning to Reason as Action Abstractions with Scalable Mid-Training RL [55.24192942739207]
  効果的な中間訓練フェーズは、有用なアクションのコンパクトなセットを特定し、高速な選択を可能にする。 本稿では,スケーラブルなミッドトレーニングアルゴリズムであるReasoning as Action Abstractions (RA3)を提案する。
  論文  参考訳（メタデータ） (2025-09-30T05:34:20Z)
• DARLEI: Deep Accelerated Reinforcement Learning with Evolutionary Intelligence [77.78795329701367]
  本稿では,進化アルゴリズムと並列化強化学習を組み合わせたフレームワークであるDARLEIを提案する。 我々はDARLEIの性能を様々な条件で特徴付け、進化形態の多様性に影響を与える要因を明らかにした。 今後DARLEIを拡張して、よりリッチな環境における多様な形態素間の相互作用を取り入れていきたいと考えています。
  論文  参考訳（メタデータ） (2023-12-08T16:51:10Z)
• Learning to Optimize for Reinforcement Learning [58.01132862590378]
  強化学習(Reinforcement Learning, RL)は、教師付き学習とは本質的に異なり、実際、これらの学習は単純なRLタスクでもうまく機能しない。 エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。 おもちゃのタスクでしか訓練されていないが、我々の学習はブラックスの目に見えない複雑なタスクを一般化できることを示した。
  論文  参考訳（メタデータ） (2023-02-03T00:11:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。