論文の概要: Preference-Conditioned Gradient Variations for Multi-Objective Quality-Diversity
- arxiv url: http://arxiv.org/abs/2411.12433v1
- Date: Tue, 19 Nov 2024 11:50:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-20 13:37:01.662692
- Title: Preference-Conditioned Gradient Variations for Multi-Objective Quality-Diversity
- Title（参考訳）: 多目的品質の多様性に対する優先条件の勾配変動
- Authors: Hannah Janmohamed, Maxence Faldor, Thomas Pierrot, Antoine Cully,
- Abstract要約: 優先条件付きポリシー段階突然変異を用いた多目的品質多様性アルゴリズムを提案する。
提案手法は,新たに提案した疎度測定値により,よりスムーズなトレードオフを実現する。
この性能は、従来の方法に比べて計算ストレージコストが低い。
- 参考スコア（独自算出の注目度）: 7.799824794686343
- License:
- Abstract: In a variety of domains, from robotics to finance, Quality-Diversity algorithms have been used to generate collections of both diverse and high-performing solutions. Multi-Objective Quality-Diversity algorithms have emerged as a promising approach for applying these methods to complex, multi-objective problems. However, existing methods are limited by their search capabilities. For example, Multi-Objective Map-Elites depends on random genetic variations which struggle in high-dimensional search spaces. Despite efforts to enhance search efficiency with gradient-based mutation operators, existing approaches consider updating solutions to improve on each objective separately rather than achieving desired trade-offs. In this work, we address this limitation by introducing Multi-Objective Map-Elites with Preference-Conditioned Policy-Gradient and Crowding Mechanisms: a new Multi-Objective Quality-Diversity algorithm that uses preference-conditioned policy-gradient mutations to efficiently discover promising regions of the objective space and crowding mechanisms to promote a uniform distribution of solutions on the Pareto front. We evaluate our approach on six robotics locomotion tasks and show that our method outperforms or matches all state-of-the-art Multi-Objective Quality-Diversity methods in all six, including two newly proposed tri-objective tasks. Importantly, our method also achieves a smoother set of trade-offs, as measured by newly-proposed sparsity-based metrics. This performance comes at a lower computational storage cost compared to previous methods.
- Abstract（参考訳）: ロボティクスからファイナンスまで、さまざまな分野において、品質多様性アルゴリズムは多種多様なハイパフォーマンスなソリューションのコレクションを生成するために使われてきた。
多目的品質多様性アルゴリズムは、これらの手法を複雑で多目的的な問題に適用するための有望なアプローチとして登場してきた。
しかし,既存の手法は検索能力によって制限されている。
例えば、Multi-Objective Map-Elitesは、高次元の探索空間で苦労するランダムな遺伝的変異に依存する。
勾配に基づく突然変異演算子を用いて探索効率を向上させる努力にもかかわらず、既存のアプローチでは、所望のトレードオフを達成するのではなく、各目的に対して個別に改善するソリューションを更新することを検討している。
本研究では、優先条件付きポリシー・グラディエント・クラウド・メカニズムを用いた多目的マップ・エリートの導入により、この制限に対処する: 優先条件付きポリシー・グラディエント・ミュータントを用いて、目的空間の有望な領域と群集メカニズムを効率的に発見し、パレートフロントにおけるソリューションの均一な分布を促進するための、新しい多目的品質・ダイバーシティ・アルゴリズム。
我々は,6つのロボット移動タスクに対するアプローチを評価し,新たに提案された2つの三目的タスクを含む,最先端の多目的品質・多様性手法のすべてにおいて,我々の手法が優れているか,一致しているかを示す。
提案手法は,新たに提案した疎度測定値から,よりスムーズなトレードオフも達成する。
この性能は、従来の方法に比べて計算ストレージコストが低い。
関連論文リスト
- Training Greedy Policy for Proposal Batch Selection in Expensive Multi-Objective Combinatorial Optimization [52.80408805368928]
本稿では,バッチ取得のための新しいグリーディ型サブセット選択アルゴリズムを提案する。
赤蛍光タンパク質に関する実験により,提案手法は1.69倍少ないクエリでベースライン性能を達成できることが判明した。
論文 参考訳（メタデータ） (2024-06-21T05:57:08Z) - UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [75.11267478778295]
マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。
重みベクトル w でパラメータ化される線型効用関数の場合に焦点を当てる。
学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
論文 参考訳（メタデータ） (2024-05-01T09:34:42Z) - Towards Multi-Objective High-Dimensional Feature Selection via
Evolutionary Multitasking [63.91518180604101]
本稿では,高次元特徴選択問題,すなわちMO-FSEMTのための新しいEMTフレームワークを開発する。
タスク固有の知識伝達機構は、各タスクの利点情報を活用するように設計され、高品質なソリューションの発見と効果的な伝達を可能にする。
論文 参考訳（メタデータ） (2024-01-03T06:34:39Z) - Objectives Are All You Need: Solving Deceptive Problems Without Explicit
Diversity Maintenance [7.3153233408665495]
我々は,明らかに多様性の維持を行なわずに,偽りのドメインを解決することを約束するアプローチを提案する。
人口多様性を暗黙的に維持することが示されているため,これらの目的を最適化するためにレキシケースの選択を用いる。
目的を多くの目的に分解し、それらを最適化することで、探究する偽りの領域においてMAP-Elitesより優れていることが分かりました。
論文 参考訳（メタデータ） (2023-11-04T00:09:48Z) - Applying Ising Machines to Multi-objective QUBOs [0.0]
2つ以上の目的を持つ問題に対してスカラー化重みを導出する適応的手法を拡張した。
3 と 4 つの目的を持つマルチオブジェクト非制約バイナリ二次プログラミング (mUBQP) インスタンス上での最高の性能を示す。
論文 参考訳（メタデータ） (2023-05-19T12:53:48Z) - A Scale-Independent Multi-Objective Reinforcement Learning with
Convergence Analysis [0.6091702876917281]
多くのシーケンシャルな意思決定問題は、対立する可能性のある異なる目的の最適化を必要とする。
本稿では,Advantage Actor-Critic (A2C)アルゴリズムに基づいて,単エージェントスケール非依存型多目的強化学習を開発する。
次に、収束保証を提供する考案された多目的アルゴリズムに対して収束解析を行う。
論文 参考訳（メタデータ） (2023-02-08T16:38:55Z) - Multi-Objective GFlowNets [59.16787189214784]
本稿では,多目的最適化の文脈において,多様な候補を生成する問題について検討する。
薬物発見やマテリアルデザインといった機械学習の多くの応用において、目標は、競合する可能性のある目標のセットを同時に最適化する候補を生成することである。
GFlowNetsをベースとした多目的GFlowNets(MOGFNs)を提案する。
論文 参考訳（メタデータ） (2022-10-23T16:15:36Z) - Mitigating Gradient Bias in Multi-objective Learning: A Provably Convergent Stochastic Approach [38.76462300149459]
我々は多目的勾配最適化のための多目的補正法(MoCo)を開発した。
本手法の特長は,非公正勾配を増大させることなく収束を保証できる点である。
論文 参考訳（メタデータ） (2022-10-23T05:54:26Z) - Multi-Objective Quality Diversity Optimization [2.4608515808275455]
MOME(Multi-Objective MAP-Elites)の多目的設定におけるMAP-Elitesアルゴリズムの拡張を提案する。
すなわち、MAP-Elitesグリッドアルゴリズムから受け継いだ多様性と、多目的最適化の強みを組み合わせる。
本手法は,標準的な最適化問題からロボットシミュレーションまで,いくつかのタスクで評価する。
論文 参考訳（メタデータ） (2022-02-07T10:48:28Z) - A survey on multi-objective hyperparameter optimization algorithms for
Machine Learning [62.997667081978825]
本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。
メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。
また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
論文 参考訳（メタデータ） (2021-11-23T10:22:30Z) - Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。
既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。
モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
論文 参考訳（メタデータ） (2020-11-19T22:35:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。