論文の概要: Quality with Just Enough Diversity in Evolutionary Policy Search
- arxiv url: http://arxiv.org/abs/2405.04308v1
- Date: Tue, 7 May 2024 13:33:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 14:00:34.881303
- Title: Quality with Just Enough Diversity in Evolutionary Policy Search
- Title（参考訳）: 進化的政策探索における十分な多様性をもつ品質
- Authors: Paul Templier, Luca Grillotti, Emmanuel Rachelson, Dennis G. Wilson, Antoine Cully,
- Abstract要約: JEDi(Quality with Just Enough Diversity)は、行動とフィットネスの関係を学習し、重要なソリューションに対する評価に焦点をあてるフレームワークである。
より高いフィットネス値を達成しようとすると、JEDiは迷路のようなハードな探索作業や、大きなポリシーを持つ複雑な制御問題において、QDとESの両方の手法を上回ります。
- 参考スコア（独自算出の注目度）: 9.933490737578111
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Evolution Strategies (ES) are effective gradient-free optimization methods that can be competitive with gradient-based approaches for policy search. ES only rely on the total episodic scores of solutions in their population, from which they estimate fitness gradients for their update with no access to true gradient information. However this makes them sensitive to deceptive fitness landscapes, and they tend to only explore one way to solve a problem. Quality-Diversity methods such as MAP-Elites introduced additional information with behavior descriptors (BD) to return a population of diverse solutions, which helps exploration but leads to a large part of the evaluation budget not being focused on finding the best performing solution. Here we show that behavior information can also be leveraged to find the best policy by identifying promising search areas which can then be efficiently explored with ES. We introduce the framework of Quality with Just Enough Diversity (JEDi) which learns the relationship between behavior and fitness to focus evaluations on solutions that matter. When trying to reach higher fitness values, JEDi outperforms both QD and ES methods on hard exploration tasks like mazes and on complex control problems with large policies.
- Abstract（参考訳）: 進化戦略(Evolution Strategies, ES)は、政策探索のための勾配に基づくアプローチと競合する効果的な勾配のない最適化手法である。
ESは、彼らの集団におけるソリューションの総合的なスコアにのみ依存しており、そこから真の勾配情報にアクセスせずに、更新の適合度勾配を推定する。
しかし、これによって彼らは欺くフィットネスの風景に敏感になり、問題の解決方法は1つしか探さない傾向があります。
MAP-Elitesのような品質多様性の手法は、多様なソリューションの集団を返却するために行動記述子(BD)を付加した情報を導入し、探索に役立ったが、最高のソリューションを見つけることに集中していない評価予算の大部分を導いた。
ここでは,ESを用いて効率的に探索できる有望な探索領域を特定することで,行動情報を活用することで,最良のポリシーを見つけることができることを示す。
JEDi(Quality with Just Enough Diversity)は、行動とフィットネスの関係を学習し、重要なソリューションに対する評価に焦点をあてるフレームワークである。
より高いフィットネス値を達成しようとすると、JEDiは迷路のようなハードな探索作業や、大きなポリシーを持つ複雑な制御問題において、QDとESの両方の手法を上回ります。
関連論文リスト
- Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [56.24431208419858]
報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。
そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
論文 参考訳（メタデータ） (2024-10-10T16:01:51Z) - CAGES: Cost-Aware Gradient Entropy Search for Efficient Local Multi-Fidelity Bayesian Optimization [0.0]
我々は,多要素ブラックボックス関数の局所BOのための新しいアルゴリズムであるCost-Aware Gradient Entropy Search (CAGES)を提案する。
我々は,CAGESが様々な合成およびベンチマークRL問題において,他の最先端手法と比較して,大幅な性能向上を達成できることを実証した。
論文 参考訳（メタデータ） (2024-05-13T14:00:02Z) - Testing for Fault Diversity in Reinforcement Learning [13.133263651395865]
ポリシテストは可能な限り多くの障害(例えば、同様の自動車事故を引き起こすインプット)を見つけるのではなく、モデルで可能な限り情報的かつ多様な障害を明らかにすることを目的としている、と私たちは主張する。
QDの最適化は概念的には単純であり、一般的に適用可能であるが、決定モデルにおいてより多様な欠点を効果的に発見できることが示される。
論文 参考訳（メタデータ） (2024-03-22T09:46:30Z) - Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline
Reinforcement Learning [57.83919813698673]
Projected Off-Policy Q-Learning (POP-QL) は、政治外のサンプルを同時に重み付け、分散を防止し、価値近似誤差を減らすためにポリシーを制約する新しいアクタ批判アルゴリズムである。
我々の実験では、POP-QLは標準ベンチマーク上での競合性能を示すだけでなく、データ収集ポリシーがかなり最適化されていないタスクにおいて競合するメソッドよりも優れています。
論文 参考訳（メタデータ） (2023-11-25T00:30:58Z) - Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-10-08T23:39:38Z) - Efficient Quality-Diversity Optimization through Diverse Quality Species [3.428706362109921]
我々は,アーカイブの必要をなくしたり,事前の動作範囲を定義したりすることなく,多様な解の集団を見つけることができることを示す。
本稿では,アーカイブベースの品質多様性(QD)アルゴリズムの代替として,DQS(Diverse Quality Species)を提案する。
論文 参考訳（メタデータ） (2023-04-14T23:15:51Z) - Approximating Gradients for Differentiable Quality Diversity in
Reinforcement Learning [8.591356221688773]
微分品質多様性(DQD)アルゴリズムは、目標と測度に対して正確な勾配が利用できる場合、QD最適化を大幅に加速する。
我々はDQDアルゴリズムCMA-MEGAの2つの変種を開発し、それぞれ異なる勾配近似を持ち、それらを4つのシミュレーション歩行タスクで評価する。
1つの変種は、最先端のPGA-MAP-Elitesを2つのタスクで同等の性能(QDスコア)を達成する。もう1つの変種は、全てのタスクで比較可能だが、2つのタスクでPGA-MAP-Elitesよりも効率が低い。
論文 参考訳（メタデータ） (2022-02-08T05:53:55Z) - Few-shot Quality-Diversity Optimization [50.337225556491774]
品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。
本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。
ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
論文 参考訳（メタデータ） (2021-09-14T17:12:20Z) - Benchmarks for Deep Off-Policy Evaluation [152.28569758144022]
我々は,政策外の評価のベンチマークに使用できるポリシーの集合を提案する。
私たちのベンチマークの目標は、一連の原則から動機付けられた進歩の標準化された尺度を提供することです。
この領域における今後の研究を促進するために、当社のデータとコードに対するオープンソースアクセスを提供しています。
論文 参考訳（メタデータ） (2021-03-30T18:09:33Z) - Policy Information Capacity: Information-Theoretic Measure for Task
Complexity in Deep Reinforcement Learning [83.66080019570461]
課題の難易度について,環境にとらわれない,アルゴリズムにとらわれない2つの定量的指標を提案する。
これらの指標は、様々な代替案よりも、正規化タスク可解性スコアとの相関が高いことを示す。
これらのメトリクスは、鍵設計パラメータの高速かつ計算効率の良い最適化にも使用できる。
論文 参考訳（メタデータ） (2021-03-23T17:49:50Z) - Diversity Policy Gradient for Sample Efficient Quality-Diversity
Optimization [7.8499505363825755]
多様性とパフォーマンスを両立させることは、探索・探索のトレードオフに対処するための便利な方法である。
本稿では、ポリシーグラディエントアルゴリズムと品質多様性アプローチの強みを組み合わせた新しいアルゴリズムQDPGを提案する。
論文 参考訳（メタデータ） (2020-06-15T16:04:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。