論文の概要: Scalable Multi-Objective Reinforcement Learning with Fairness Guarantees using Lorenz Dominance

• arxiv url: http://arxiv.org/abs/2411.18195v1
• Date: Wed, 27 Nov 2024 10:16:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:25:55.283746
• Title: Scalable Multi-Objective Reinforcement Learning with Fairness Guarantees using Lorenz Dominance
• Title（参考訳）: Lorenz Dominance を用いたフェアネス保証を用いたスケーラブル多目的強化学習
• Authors: Dimitris Michailidis, Willem Röpke, Diederik M. Roijers, Sennay Ghebreab, Fernando P. Santos,
• Abstract要約: マルチオブジェクト強化学習(MORL)は、複数の、しばしば矛盾する目標間のトレードオフを最適化する一連のポリシーを学ぶことを目的としている。 本稿では,多目的問題に対するスケーラビリティを向上しつつ,公平性をMORLに組み込んだアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 43.44913206006581
• License:
• Abstract: Multi-Objective Reinforcement Learning (MORL) aims to learn a set of policies that optimize trade-offs between multiple, often conflicting objectives. MORL is computationally more complex than single-objective RL, particularly as the number of objectives increases. Additionally, when objectives involve the preferences of agents or groups, ensuring fairness is socially desirable. This paper introduces a principled algorithm that incorporates fairness into MORL while improving scalability to many-objective problems. We propose using Lorenz dominance to identify policies with equitable reward distributions and introduce {\lambda}-Lorenz dominance to enable flexible fairness preferences. We release a new, large-scale real-world transport planning environment and demonstrate that our method encourages the discovery of fair policies, showing improved scalability in two large cities (Xi'an and Amsterdam). Our methods outperform common multi-objective approaches, particularly in high-dimensional objective spaces.
• Abstract（参考訳）: マルチオブジェクト強化学習(MORL)は、複数の、しばしば矛盾する目標間のトレードオフを最適化する一連のポリシーを学ぶことを目的としている。 MORLは、特に目的の数が増加するにつれて、単目的RLよりも計算的に複雑になる。 さらに、目的がエージェントやグループの選好にかかわる場合、公正性を保証することが社会的に望ましい。 本稿では,多目的問題に対するスケーラビリティを向上しつつ,公平性をMORLに組み込んだアルゴリズムを提案する。 本稿では,ロレンツ優位性を用いて,公平な報酬分布を持つポリシーを識別し,フレキシブルフェアネス選好を実現するために,ローレンツ優位性を導入することを提案する。 我々は,新しい大規模実世界の交通計画環境を公開し,我々の手法が公正な政策の発見を促進することを実証し,二つの大都市(西安とアムステルダム)におけるスケーラビリティの向上を示す。 提案手法は,特に高次元対象空間において,一般的な多目的アプローチよりも優れる。

関連論文リスト

• Intersectional Fairness in Reinforcement Learning with Large State and Constraint Spaces [16.400288624027375]
  多くの実世界の環境では、複数の目的を同時に最適化することが重要である。 目的を1つのスカラー報酬関数の状態ベース再重み付けによって定義する多目的最適化問題を考察する。 目的数が指数関数的に大きい場合でも、これらの多目的RL問題を解決するためのオラクル効率のアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2025-02-17T14:25:33Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Navigating Trade-offs: Policy Summarization for Multi-Objective Reinforcement Learning [10.848218400641466]
  多目的強化学習(MORL)は、複数の目的を含む問題を解決するために用いられる。 本稿では,MORL が生成する解集合をクラスタリングする手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T15:26:38Z)
• Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
  本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。 本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。 本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T09:05:46Z)
• Achieving Fairness in Multi-Agent Markov Decision Processes Using Reinforcement Learning [30.605881670761853]
  有限水平エピソードMDPにおける公平性を実現するための強化学習手法を提案する。 このようなアプローチは、エピソード数の観点から、サブ線形後悔を実現することを示す。
  論文  参考訳（メタデータ） (2023-06-01T03:43:53Z)
• Generative multitask learning mitigates target-causing confounding [61.21582323566118]
  マルチタスク学習のための因果表現学習のためのシンプルでスケーラブルなアプローチを提案する。 改善は、目標を狙うが入力はしない、観測されていない共同ファウンダーを緩和することによる。 人の属性とタスクノミーのデータセットに対する我々の結果は、事前の確率シフトに対するロバストネスの概念的改善を反映している。
  論文  参考訳（メタデータ） (2022-02-08T20:42:14Z)
• MORAL: Aligning AI with Human Norms through Multi-Objective Reinforced Active Learning [14.06682547001011]
  最先端の手法は通常、単一の報酬モデルを学ぶことに集中します。 本稿では,多目的強化型アクティブラーニング(MORAL)を提案する。 提案手法では,複数ポリシの計算を不要にしながら,さまざまな好みに対して深いRLエージェントを対話的にチューニングすることが可能である。
  論文  参考訳（メタデータ） (2021-12-30T19:21:03Z)
• Choosing the Best of Both Worlds: Diverse and Novel Recommendations through Multi-Objective Reinforcement Learning [68.45370492516531]
  本稿では,Recommender Systems (RS) 設定のための拡張多目的強化学習(SMORL)を紹介する。 SMORLエージェントは、標準レコメンデーションモデルを拡張し、RLレイヤーを追加し、3つの主要な目的(正確性、多様性、新しいレコメンデーション)を同時に満たすように強制する。 実世界の2つのデータセットに対する実験結果から,集約的多様性の顕著な増加,精度の適度な向上,レコメンデーションの反復性の低下,および相補的目的としての多様性と新規性の強化の重要性が示された。
  論文  参考訳（メタデータ） (2021-10-28T13:22:45Z)
• Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
  目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。 既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。 モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
  論文  参考訳（メタデータ） (2020-11-19T22:35:31Z)
• A Distributional View on Multi-Objective Policy Optimization [24.690800846837273]
  大規模不変な方法で目的の好みを設定することができる多目的強化学習アルゴリズムを提案する。 フレームワーク内で異なる好みを設定することで、非支配的なソリューションの空間を追跡できることを示す。
  論文  参考訳（メタデータ） (2020-05-15T13:02:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。