論文の概要: Learning Fair Pareto-Optimal Policies in Multi-Objective Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2606.18111v1
- Date: Tue, 16 Jun 2026 16:16:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.539205
- Title: Learning Fair Pareto-Optimal Policies in Multi-Objective Reinforcement Learning
- Title（参考訳）: 多目的強化学習における公正パレート最適政策の学習
- Authors: Umer Siddique, Peilang Li, Yongcan Cao,
- Abstract要約: マルチポリスMORLにおける公平な最適化問題を定式化する。
コンケーブ, 断片的線形福祉機能については, 公正な政策が包括的範囲に留まっていることを示す。
非定常的政策は、報酬履歴を付加して強化され、国家政策は、歴史的不平等に動的に適応することで公平性を向上させることを実証する。
- 参考スコア（独自算出の注目度）: 1.3483705601540006
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Fairness is an important aspect of decision-making in multi-objective reinforcement learning (MORL), where policies must ensure both optimality and equity across multiple, potentially conflicting objectives. While single-policy MORL methods can learn fair policies for fixed user preferences using welfare functions such as the generalized Gini welfare function (GGF), they fail to provide the diverse set of policies necessary for dynamic or unknown user preferences. To address this limitation, we formalize the fair optimization problem in multi-policy MORL, where the goal is to learn a set of Pareto-optimal policies that ensure fairness across all possible user preferences. Our key technical contributions are threefold: (1) We show that for concave, piecewise-linear welfare functions (e.g., GGF), fair policies remain in the convex coverage set (CCS), which is an approximated Pareto front for linear scalarization. (2) We demonstrate that non-stationary policies, augmented with accrued reward histories, and stochastic policies improve fairness by dynamically adapting to historical inequities. (3) We propose three novel algorithms, which include integrating GGF with multi-policy multi-objective Q-Learning (MOQL), state-augmented multi-policy MOQL for learning non-statoinary policies, and its novel extension for learning stochastic policies. We evaluate our algorithms across various domains and compare our methods against the state-of-the-art MORL baselines. The empirical results show that our methods learn a set of fair policies that accommodate different user preferences.
- Abstract（参考訳）: 公正性は、多目的強化学習(MORL)における意思決定の重要な側面であり、政策は、複数の、潜在的に矛盾する目標にまたがる最適性と公平性の両方を保証する必要がある。
単一政治のMORL法は、一般化されたジニ福祉機能(GGF)のような福祉機能を用いて、固定されたユーザ嗜好に対する公正なポリシーを学ぶことができるが、動的または未知のユーザ嗜好に必要な多様なポリシーは提供できない。
この制限に対処するため、我々はマルチポリティクスMORLにおける公正な最適化問題を定式化し、そこでは、全ての可能なユーザの嗜好に対して公平性を保証するためのパレート最適化ポリシーの集合を学習することを目的としている。
1) コンケーブ, 断片的線形福祉機能 (GGF) については, 線形スカラー化のための近似されたパレートフロントである凸カバレッジセット (CCS) に公正な政策が残っていることを示す。
2) 報酬履歴を付加した非定常的政策, 確率的政策は, 歴史的不平等に動的に適応することで公平性を向上させることを実証した。
(3) GGFと多言語多目的Q-Learning(MOQL)の統合,非静的ポリシー学習のための多言語多言語MOQL,および確率的ポリシー学習のための新しい拡張を含む3つの新しいアルゴリズムを提案する。
我々は,アルゴリズムを様々な領域にわたって評価し,その手法を最先端のMORLベースラインと比較する。
実験の結果,提案手法はユーザの好みに合った公正なポリシーの集合を学習することがわかった。
関連論文リスト
- PolicyLLM: Towards Excellent Comprehension of Public Policy for Large Language Models [56.37206340175191]
大規模言語モデル(LLM)は、現実の意思決定にますます統合されている。
しかし、政策関連のコンテンツについて理解し、理屈を定める能力はいまだ解明されていない。
textbftextitPolicyBenchは、最初の大規模クロスシステムベンチマーク(US-China)であり、ポリシーの理解を評価する。
論文 参考訳（メタデータ） (2026-04-14T17:27:50Z) - Polychromic Objectives for Reinforcement Learning [63.37185057794815]
強化学習微調整(Reinforcement Learning fine-tuning, RLFT)は、下流タスクの事前訓練されたポリシーを改善するための主要なパラダイムである。
多様な世代の探索・改良を明示的に実施する政策手法の目的について紹介する。
この目的を最適化するために、PPO(Pximal Policy Optimization)をどのように適用できるかを示す。
論文 参考訳（メタデータ） (2025-09-29T19:32:11Z) - Residual Policy Gradient: A Reward View of KL-regularized Objective [48.39829592175419]
強化学習と模倣学習は多くの領域で広く成功しているが、実世界の展開には制約が残っている。
ポリシーのカスタマイズは、その固有の特性を維持しつつ、新しいタスク固有の要件を満たしながら、事前のポリシーに適応することを目的として導入された。
ポリシーのカスタマイズに対する原則的なアプローチはResidual Q-Learning (RQL)であり、マルコフ決定プロセス(MDP)として問題を定式化し、価値に基づく学習アルゴリズムのファミリを導出する。
RQLをポリシーグラデーションメソッドに拡張し、グラデーションベースのRL設定でのポリシーカスタマイズを可能にするResidual Policy Gradient(RPG)を導入する。
論文 参考訳（メタデータ） (2025-03-14T02:30:13Z) - Personalized Reinforcement Learning with a Budget of Policies [9.846353643883443]
機械学習(ML)におけるパーソナライゼーションは、ユーザの個々の特性に対する決定をモデル化する。
本稿では,Markov Decision Processes (r-MDPs) に代表される新しいフレームワークを提案する。
r-MDPでは、少数の代表ポリシーとのインタラクションを通じて、それぞれ独自の嗜好を持つ多様なユーザ人口に対応する。
r-MDPを効率的に解くための2つの深層強化学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-01-12T11:27:55Z) - Human-in-the-Loop Policy Optimization for Preference-Based
Multi-Objective Reinforcement Learning [13.627087954965695]
好みに基づくMORLのためのHuman-in-the-loopポリシー最適化フレームワークを提案する。
本手法は,事前知識を必要とせずに,DMの暗黙の選好情報を積極的に学習する。
我々は従来の3つのMORLアルゴリズムと4つの最先端の選好に基づくMORLアルゴリズムに対するアプローチを評価する。
論文 参考訳（メタデータ） (2024-01-04T09:17:53Z) - Fairness in Preference-based Reinforcement Learning [2.3388338598125196]
そこで我々は,FPbRL (FPbRL) を設計した。
FPbRLの主な考え方は、新しい福祉ベースの嗜好を通じて、複数の目的に関連するベクトル報酬関数を学習することである。
実験により,FPbRLアプローチは効率とエクイティの両方を効果的かつ公正な政策で達成できることが示された。
論文 参考訳（メタデータ） (2023-06-16T17:47:36Z) - Optimistic Linear Support and Successor Features as a Basis for Optimal
Policy Transfer [7.970144204429356]
我々は、SFが凸被覆集合を形成するポリシーの集合を学習するために、最適化線形サポートアルゴリズムのSFベースの拡張を導入する。
この集合におけるポリシは、一般化されたポリシー改善を通じて組み合わせて、新しい線形表現可能なタスクに対して最適な振る舞いを構築することができることを示す。
論文 参考訳（メタデータ） (2022-06-22T19:00:08Z) - Constructing a Good Behavior Basis for Transfer using Generalized Policy
Updates [63.58053355357644]
そこで我々は,優れた政策集合を学習する問題を考察し,組み合わせることで,目に見えない多種多様な強化学習タスクを解くことができることを示した。
理論的には、独立したポリシーのセットと呼ぶ、特定の多様なポリシーのセットにアクセスできることによって、ハイレベルなパフォーマンスを即時に達成できることが示される。
論文 参考訳（メタデータ） (2021-12-30T12:20:46Z) - Imitation Learning from MPC for Quadrupedal Multi-Gait Control [63.617157490920505]
本稿では,歩行ロボットの複数の歩行を模倣する単一ポリシーを学習する学習アルゴリズムを提案する。
モデル予測制御によって導かれる模擬学習のアプローチであるMPC-Netを使用し、拡張します。
ハードウェアに対する我々のアプローチを検証し、学習したポリシーが教師に取って代わって複数の歩留まりを制御できることを示します。
論文 参考訳（メタデータ） (2021-03-26T08:48:53Z) - Variational Policy Propagation for Multi-agent Reinforcement Learning [68.26579560607597]
本稿では,エージェント間の相互作用を通じて,共役ポリシーを学習するために,変動ポリシー伝搬 (VPP) という,共役型多エージェント強化学習アルゴリズムを提案する。
共同政策がマルコフランダム場(Markov Random Field)であることは、いくつかの穏やかな条件下で証明し、それによって政策空間を効果的に減少させる。
我々は、マルコフ確率場から効率的に行動をサンプリングでき、全体的な政策が微分可能であるようなポリシーにおいて、変動推論を特別な微分可能な層として統合する。
論文 参考訳（メタデータ） (2020-04-19T15:42:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。