論文の概要: Group Fairness in Multi-Task Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2503.07817v1
• Date: Mon, 10 Mar 2025 19:59:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:45:23.977986
• Title: Group Fairness in Multi-Task Reinforcement Learning
• Title（参考訳）: マルチタスク強化学習におけるグループフェアネス
• Authors: Kefan Song, Runnan Jiang, Rohan Chandra, Shangtong Zhang,
• Abstract要約: 強化学習(RL)におけるマルチタスク群フェアネスの新たな定式化について紹介する。 本論文では,複数のタスクにまたがる公正性制約を同時に実施する制約付き最適化アルゴリズムを提案する。 この結果から,提案アルゴリズムは,異なる階層群やタスクに対して,同等のリターンを維持しつつ,より小さなフェアネスギャップを達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 17.98928508837315
• License:
• Abstract: This paper addresses a critical societal consideration in the application of Reinforcement Learning (RL): ensuring equitable outcomes across different demographic groups in multi-task settings. While previous work has explored fairness in single-task RL, many real-world applications are multi-task in nature and require policies to maintain fairness across all tasks. We introduce a novel formulation of multi-task group fairness in RL and propose a constrained optimization algorithm that explicitly enforces fairness constraints across multiple tasks simultaneously. We have shown that our proposed algorithm does not violate fairness constraints with high probability and with sublinear regret in the finite-horizon episodic setting. Through experiments in RiverSwim and MuJoCo environments, we demonstrate that our approach better ensures group fairness across multiple tasks compared to previous methods that lack explicit multi-task fairness constraints in both the finite-horizon setting and the infinite-horizon setting. Our results show that the proposed algorithm achieves smaller fairness gaps while maintaining comparable returns across different demographic groups and tasks, suggesting its potential for addressing fairness concerns in real-world multi-task RL applications.
• Abstract（参考訳）: 本稿では、強化学習(RL: Reinforcement Learning)の適用における批判的な社会的考察について述べる。 以前の研究では、シングルタスクRLにおける公平性について検討されてきたが、現実の多くのアプリケーションは本質的にマルチタスクであり、あらゆるタスクにおける公平性を維持するためにポリシーが必要である。 本稿では、RLにおけるマルチタスク群フェアネスの新たな定式化を導入し、同時に複数のタスクに対してフェアネス制約を明示的に適用する制約付き最適化アルゴリズムを提案する。 提案アルゴリズムは,高確率で不公平な制約を犯さず,有限水平エピソード設定において線形な後悔を伴わないことを示した。 RiverSwim および MuJoCo 環境での実験を通じて,本手法は,有限水平設定と無限水平設定の両方において,明示的なマルチタスクフェアネス制約を欠いた従来の手法と比較して,複数のタスクに対するグループフェアネスを向上することを示した。 提案アルゴリズムは, 実世界のマルチタスクRLアプリケーションにおいて, 対等なリターンを維持しつつ, より小さなフェアネスギャップを達成できることを示す。

関連論文リスト

• Task-Aware Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [70.96345405979179]
  オフラインマルチタスク強化学習(MTRL)の目的は、オンライン環境相互作用を必要とせず、多様なタスクに適用可能な統一されたポリシーを開発することである。 タスクの内容と複雑さの変化は、政策の定式化において重大な課題を引き起こします。 本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。
  論文  参考訳（メタデータ） (2024-11-02T05:49:14Z)
• Sample Efficient Myopic Exploration Through Multitask Reinforcement Learning with Diverse Tasks [53.44714413181162]
  本稿では, エージェントが十分に多様なタスクセットで訓練された場合, 筋電図探索設計による一般的なポリシー共有アルゴリズムは, サンプル効率がよいことを示す。 我々の知る限りでは、これはMTRLの「探索的利益」の初めての理論的実証である。
  論文  参考訳（メタデータ） (2024-03-03T22:57:44Z)
• Towards Principled Task Grouping for Multi-Task Learning [14.3385939018772]
  マルチタスク学習(MTL)におけるタスクグループ化への新しいアプローチを提案する。 我々の手法は、転送ゲインを構築するための制限的な仮定に依存しない、より理論的に基礎付けられた方法を提供する。
  論文  参考訳（メタデータ） (2024-02-23T13:51:20Z)
• Offline Multi-task Transfer RL with Representational Penalization [26.114893629771736]
  オフライン強化学習(RL)における表現伝達の問題について検討する。 本稿では,学習者表現に対する不確実性度を計算するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-19T21:52:44Z)
• Provable Benefits of Multi-task RL under Non-Markovian Decision Making Processes [56.714690083118406]
  マルコフ決定過程 (MDP) 下でのマルチタスク強化学習 (RL) において, 共有潜在構造の存在は, シングルタスクRLと比較して, サンプル効率に有意な利益をもたらすことが示されている。 このような利点が、部分的に観測可能なMDP(POMDP)やより一般的な予測状態表現(PSR)といった、より一般的なシーケンシャルな意思決定問題にまで拡張できるかどうかを検討する。 提案手法は,全てのPSRに対してほぼ最適ポリシーを求めるための,証明可能なアルゴリズム UMT-PSR を提案し,PSR の合同モデルクラスが有するマルチタスク学習の利点が示されることを示す。
  論文  参考訳（メタデータ） (2023-10-20T14:50:28Z)
• Understanding the Complexity Gains of Single-Task RL with a Curriculum [83.46923851724408]
  強化学習 (Reinforcement Learning, RL) の問題は, 十分に形が整った報酬なしでは困難である。 カリキュラムで定義されるマルチタスクRL問題として、シングルタスクRL問題を再構成する理論的枠組みを提供する。 マルチタスクRL問題における各タスクの逐次解法は、元の単一タスク問題の解法よりも計算効率がよいことを示す。
  論文  参考訳（メタデータ） (2022-12-24T19:46:47Z)
• Reinforcement Learning with Stepwise Fairness Constraints [50.538878453547966]
  本稿では,段階的公正性制約を伴う強化学習について紹介する。 我々は、ポリシーの最適性と公正性違反に関して、強力な理論的保証を持つ学習アルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-11-08T04:06:23Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Understanding and Improving Fairness-Accuracy Trade-offs in Multi-Task Learning [18.666340309506605]
  我々は,マルチタスクシナリオにおいて,MLフェアネスの概念としてのグループフェアネスが果たす役割を懸念している。 マルチタスク学習では、より効率的な帰納的伝達のためにタスク相関を利用するために、複数のタスクが共同で学習される。 マルチタスク学習における公平性向上のためのマルチタスク認識フェアネス(MTA-F)アプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-04T20:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。