論文の概要: PA2D-MORL: Pareto Ascent Directional Decomposition based Multi-Objective Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2603.19579v1
• Date: Fri, 20 Mar 2026 02:46:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:38.948932
• Title: PA2D-MORL: Pareto Ascent Directional Decomposition based Multi-Objective Reinforcement Learning
• Title（参考訳）: PA2D-MORL:Pareto Ascent Directional Decomposition に基づく多目的強化学習
• Authors: Tianmeng Hu, Biao Luo,
• Abstract要約: 本稿では,多目的問題分解と政策改善のための効率的なスキームを構築するPA2D-MORL法を提案する。 提案手法は, 結果の品質と安定性の両面で, 現在の最先端アルゴリズムよりも明らかに優れていることを示す。
• 参考スコア（独自算出の注目度）: 17.67661165622871
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Multi-objective reinforcement learning (MORL) provides an effective solution for decision-making problems involving conflicting objectives. However, achieving high-quality approximations to the Pareto policy set remains challenging, especially in complex tasks with continuous or high-dimensional state-action space. In this paper, we propose the Pareto Ascent Directional Decomposition based Multi-Objective Reinforcement Learning (PA2D-MORL) method, which constructs an efficient scheme for multi-objective problem decomposition and policy improvement, leading to a superior approximation of Pareto policy set. The proposed method leverages Pareto ascent direction to select the scalarization weights and computes the multi-objective policy gradient, which determines the policy optimization direction and ensures joint improvement on all objectives. Meanwhile, multiple policies are selectively optimized under an evolutionary framework to approximate the Pareto frontier from different directions. Additionally, a Pareto adaptive fine-tuning approach is applied to enhance the density and spread of the Pareto frontier approximation. Experiments on various multi-objective robot control tasks show that the proposed method clearly outperforms the current state-of-the-art algorithm in terms of both quality and stability of the outcomes.
• Abstract（参考訳）: 多目的強化学習(MORL)は、対立する目的を含む意思決定問題に対して効果的な解決策を提供する。 しかし、特に連続的あるいは高次元の状態作用空間を持つ複雑なタスクにおいて、パレートのポリシーセットに対する高品質な近似を達成することは依然として困難である。 本稿では,Pareto Ascent Directional Reinforcement Learning (PA2D-MORL)法を提案する。 提案手法は,パレート上昇方向を利用してスカラー化ウェイトを選択し,多目的政策勾配を計算する。 一方、複数のポリシーは、異なる方向からパレートフロンティアを近似するために、進化的枠組みの下で選択的に最適化される。 さらに、パレート適応微調整法を適用し、パレートフロンティア近似の密度と広がりを高める。 各種多目的ロボット制御タスクの実験により,提案手法は,結果の品質と安定性の両方の観点から,現状のアルゴリズムよりも明らかに優れていることが示された。

関連論文リスト

• A Framework for Controllable Multi-objective Learning with Annealed Stein Variational Hypernetworks [4.166623313248681]
  最適解の集合はパレート集合を近似する。 現在の手法では、ハイパーボリューム値を最大化しながら、どのようにソリューションを多様化させるかという課題に直面している。 本稿では,Stein Variational Gradient Descentを用いた新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-06-07T08:50:42Z)
• Deterministic Policy Gradient Primal-Dual Methods for Continuous-Space Constrained MDPs [82.34567890576423]
  我々は,非漸近収束を伴う最適決定主義政策を求めるための決定主義的政策勾配原始双対法を開発した。 D-PGPDの一次-双対反復は、最適正則化原始-双対にサブ線形速度で収束することが証明された。 これは連続空間制約型MDPに対する決定論的ポリシー探索法を提案する最初の研究である。
  論文  参考訳（メタデータ） (2024-08-19T14:11:04Z)
• UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [51.00436121587591]
  マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。 重みベクトル w でパラメトリした線型効用関数の場合に焦点を当てる。 学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-01T09:34:42Z)
• Conflict-Averse Gradient Aggregation for Constrained Multi-Objective Reinforcement Learning [13.245000585002858]
  多くの実世界の応用において、強化学習(RL)エージェントは、複数の目的を考慮し、安全ガイドラインに従うべきである。 制約付き多目的勾配集約アルゴリズム(Constrained Multi-Objective Gradient Aggregator, CoGAMO)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T04:57:13Z)
• Divide and Conquer: Provably Unveiling the Pareto Front with Multi-Objective Reinforcement Learning [5.897578963773195]
  反復パレート参照最適化(IPRO)を導入する。 IPROはParetoフロントを制約付き単目的問題の列に分解する。 問題固有の単目的解法を利用することで、本手法は多目的強化学習を超える応用を約束する。
  論文  参考訳（メタデータ） (2024-02-11T12:35:13Z)
• A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments [15.794728813746397]
  多目的強化学習法は、多目的最適化手法で強化学習パラダイムを融合させる。 これらの方法の大きな欠点の1つは、環境における非定常力学への適応性の欠如である。 本研究では,非定常環境において,凸カバレッジの集合をオンライン的に頑健に進化させることのできる,新しい多目的強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-18T02:15:12Z)
• Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
  本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。 シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
  論文  参考訳（メタデータ） (2022-09-15T07:22:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。