論文の概要: Benchmarking MOEAs for solving continuous multi-objective RL problems

• arxiv url: http://arxiv.org/abs/2505.13726v1
• Date: Mon, 19 May 2025 20:54:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.539093
• Title: Benchmarking MOEAs for solving continuous multi-objective RL problems
• Title（参考訳）: 連続多目的RL問題に対するベンチマークMOEA
• Authors: Carlos Hernández, Roberto Santana,
• Abstract要約: 多目的強化学習(MORL)は、複数の、しばしば矛盾する報酬を同時に最適化する課題に対処する。 本稿では,複雑なMORL問題の解法における多目的進化アルゴリズムの適用性と限界について検討する。
• 参考スコア（独自算出の注目度）: 3.8936716676293917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-objective reinforcement learning (MORL) addresses the challenge of simultaneously optimizing multiple, often conflicting, rewards, moving beyond the single-reward focus of conventional reinforcement learning (RL). This approach is essential for applications where agents must balance trade-offs between diverse goals, such as speed, energy efficiency, or stability, as a series of sequential decisions. This paper investigates the applicability and limitations of multi-objective evolutionary algorithms (MOEAs) in solving complex MORL problems. We assess whether these algorithms can effectively address the unique challenges posed by MORL and how MORL instances can serve as benchmarks to evaluate and improve MOEA performance. In particular, we propose a framework to characterize the features influencing MORL instance complexity, select representative MORL problems from the literature, and benchmark a suite of MOEAs alongside single-objective EAs using scalarized MORL formulations. Additionally, we evaluate the utility of existing multi-objective quality indicators in MORL scenarios, such as hypervolume conducting a comparison of the algorithms supported by statistical analysis. Our findings provide insights into the interplay between MORL problem characteristics and algorithmic effectiveness, highlighting opportunities for advancing both MORL research and the design of evolutionary algorithms.
• Abstract（参考訳）: 多目的強化学習(MORL)は、従来の強化学習(RL)の単一逆焦点を超えて、複数の、しばしば矛盾する報酬を同時に最適化する課題に対処する。 このアプローチは、エージェントが一連のシーケンシャルな決定として、スピード、エネルギー効率、安定性などの様々な目標間のトレードオフをバランスさせなければならないアプリケーションに不可欠である。 本稿では、複雑なMORL問題の解法における多目的進化アルゴリズム(MOEA)の適用性と限界について検討する。 MORLのインスタンスがMOEAの性能を評価し改善するためのベンチマークとしてどのように機能するか、これらのアルゴリズムがMORLの固有の課題に効果的に対処できるかを評価する。 特に,本論文では,MORLインスタンスの複雑性に影響を与える特徴を特徴付けるフレームワークを提案し,文献から代表的MORL問題を選択し,スキャラライズされたMORLの定式化を用いて,単一目的のEAとともにMOEAのスイートをベンチマークする。 さらに,MORLシナリオにおける既存の多目的品質指標の有用性を評価する。 本研究は,MORL問題の特徴とアルゴリズムの有効性の相互作用を考察し,MORL研究の進展と進化的アルゴリズムの設計の両面での機会を強調した。

関連論文リスト

• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• Model-Based RL for Mean-Field Games is not Statistically Harder than Single-Agent RL [57.745700271150454]
  モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。 本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
  論文  参考訳（メタデータ） (2024-02-08T14:54:47Z)
• An Instance Space Analysis of Constrained Multi-Objective Optimization Problems [1.314903445595385]
  我々は,制約付き多目的進化アルゴリズム(CMOEA)の性能とCMOPインスタンス特性の関係について,ISA(インスタンス空間解析)を用いて検討する。 6つのCMOPベンチマークスイートと15のCMOEAにまたがる問題アルゴリズムのフットプリントを詳細に評価する。 我々は、非支配的集合の分離と制約と目的の進化可能性の相関という2つの重要な特徴が、アルゴリズムの性能に最も大きな影響を与えると結論付けた。
  論文  参考訳（メタデータ） (2022-03-02T04:28:11Z)
• MODRL/D-EL: Multiobjective Deep Reinforcement Learning with Evolutionary Learning for Multiobjective Optimization [10.614594804236893]
  本稿では、時間窓付き多目的車両ルーティング問題と呼ばれる典型的な複雑な問題に対して、進化学習アルゴリズムを用いた多目的深部強化学習を提案する。 MO-VRPTWインスタンスの実験結果は、提案アルゴリズムが他の学習ベースおよび反復型アプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-16T15:22:20Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• On Multi-objective Policy Optimization as a Tool for Reinforcement Learning: Case Studies in Offline RL and Finetuning [24.264618706734012]
  より効率的な深層強化学習アルゴリズムの開発方法について述べる。 ケーススタディとして,オフラインRLとファインタニングに注目した。 専門家の混合蒸留(DiME)について紹介する オフラインのRLでは、DMEが最先端のアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-15T14:59:14Z)
• Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
  目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。 既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。 モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
  論文  参考訳（メタデータ） (2020-11-19T22:35:31Z)
• Hybrid Adaptive Evolutionary Algorithm for Multi-objective Optimization [0.0]
  本稿では、MoHAEAと呼ばれるハイブリッド適応進化アルゴリズム(HAEA)の拡張として、新しい多目的アルゴリズムを提案する。 MoHAEAは、MOEA/D、pa$lambda$-MOEA/D、MOEA/D-AWA、NSGA-IIの4つの状態と比較される。
  論文  参考訳（メタデータ） (2020-04-29T02:16:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。