論文の概要: Fair Policy Optimization in Major-Minor Weakly Coupled Markov Decision Processes

• arxiv url: http://arxiv.org/abs/2609.36174v1
• Date: Mon, 28 Sep 2026 19:44:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 04:28:51.32366
• Title: Fair Policy Optimization in Major-Minor Weakly Coupled Markov Decision Processes
• Title（参考訳）: 大規模弱結合マルコフ決定過程における公正な政策最適化
• Abstract要約: 大小結合型マルコフ決定過程(M2WCMDP)としてモデル化された逐次的意思決定環境における公平な資源配分について考察する。 我々は,この公正を意識した問題を解決するために,実用性に基づく目的を最適化する効率的なアルゴリズムを利用する。 我々は,機械交換問題と価格の連帯制御,タクシー移動問題という2つの応用を考察する。
• 参考スコア（独自算出の注目度）: 5.072320254643594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider fair resource allocation in sequential decision-making environments modeled as major-minor weakly coupled Markov decision processes (M2WCMDP). In this framework, resource constraints couple the action spaces of a major sub-Markov decision process (sub-MDP) and a population of minor sub-MDPs that would otherwise operate independently. Instead of using the traditional utilitarian (total-sum) objective, we optimize a general class of monotone, concave, permutation-invariant, normalized fairness functions. With homogeneous minor sub-MDPs, we prove that the problem under symmetry reduces to optimizing the platform-plus-mean-participant utilitarian objective over the class of \textit{permutation-invariant} policies, which allows us to exploit efficient algorithms that optimize the utilitarian-based objective to solve this fairness-aware problem. For more general settings, we introduce a count-proportion-based deep reinforcement learning approach with a priority-based sampler that generates feasible count actions. The generality of our framework means that the proposed algorithms and theoretical guarantees transfer to any domain with a symmetric M2WCMDP structure. We consider two applications: the machine replacement problem and the joint control of pricing and taxi relocation problem on a New York City-calibrated dataset. We validate our theoretical findings with comprehensive experiments, confirming the effectiveness of our proposed method in achieving strong fairness-aware performance while remaining scalable.
• Abstract（参考訳）: 我々は,M2WCMDP (Major-minor weakly coupling Markov decision process) としてモデル化された逐次意思決定環境における資源配分について検討する。 このフレームワークでは、リソース制約は、主要なサブマルコフ決定プロセス(サブMDP)のアクション空間と、それ以外は独立に動作する小さなサブMDPの集団とを結合する。 従来の実用的目的(total-sum)ではなく、単調、凹凸、置換不変、正規化公正関数の一般クラスを最適化する。 ホモジニアスな部分MDPでは、この問題により、プラットフォーム+平均参加型実用目標をtextit{permutation-invariant} ポリシーのクラスよりも最適化し、実用性に基づく目的を最適化する効率的なアルゴリズムを利用して、この公正を意識した問題を解決することが証明される。 より一般的な設定では、カウントプロポーションに基づく深層強化学習手法を導入し、優先度に基づくサンプリングによりカウントアクションを生成できる。 フレームワークの一般性は、提案アルゴリズムと理論的保証により、対称なM2WCMDP構造を持つ任意の領域への転送が可能であることを意味する。 我々は,ニューヨーク市の校正データセット上で,機械交換問題と価格の連立制御,タクシー移動問題という2つの応用を考察する。 提案手法の有効性を総合実験により検証し,拡張性を維持しつつ高い公正性を考慮した性能を実現する上での有効性を確認した。

関連論文リスト

• Fair Resource Allocation in Weakly Coupled Markov Decision Processes [3.824858358548714]
  マルコフ決定過程の弱結合としてモデル化された逐次的意思決定環境における資源配分について考察する。 我々は、従来の実用的(total-sum)目的ではなく、一般化されたジーニ関数を用いた公正性の定義を採用する。
  論文  参考訳（メタデータ） (2024-11-14T20:40:55Z)
• Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning [132.7040981721302]
  本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。 制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
  論文  参考訳（メタデータ） (2024-02-16T16:35:18Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Sample-Efficient Multi-Agent RL: An Optimization Perspective [103.35353196535544]
  一般関数近似に基づく汎用マルコフゲーム(MG)のためのマルチエージェント強化学習(MARL)について検討した。 汎用MGに対するマルチエージェントデカップリング係数(MADC)と呼ばれる新しい複雑性尺度を導入する。 我々のアルゴリズムは既存の研究に匹敵するサブリニアな後悔を与えることを示す。
  論文  参考訳（メタデータ） (2023-10-10T01:39:04Z)
• PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
  我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。 本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。 その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-03T18:03:44Z)
• Efficient Alternating Minimization Solvers for Wyner Multi-View Unsupervised Learning [0.0]
  本稿では,計算効率のよい解法の開発を可能にする2つの新しい定式化法を提案する。 提案した解法は, 計算効率, 理論的収束保証, ビュー数による局所最小値複雑性, 最先端技術と比較して, 例外的な精度を提供する。
  論文  参考訳（メタデータ） (2023-03-28T10:17:51Z)
• Towards Global Optimality in Cooperative MARL with the Transformation And Distillation Framework [26.612749327414335]
  分散実行は協調型マルチエージェント強化学習(MARL)における中核的要求である 本稿では,マルチエージェントポリシー勾配法と値分解法という,分散ポリシを用いた2つの一般的なアルゴリズムのクラスを理論的に解析する。 我々は,TAD-PPO が有限マルチエージェント MDP において最適政策学習を理論的に行うことができることを示す。
  論文  参考訳（メタデータ） (2022-07-12T06:59:13Z)
• Permutation Invariant Policy Optimization for Mean-Field Multi-Agent Reinforcement Learning: A Principled Approach [128.62787284435007]
  本稿では,平均場近似ポリシ最適化(MF-PPO)アルゴリズムを提案する。 我々は,MF-PPOが収束のサブ線形速度で世界的最適政策を達成することを証明した。 特に、置換不変ニューラルアーキテクチャによって引き起こされる誘導バイアスは、MF-PPOが既存の競合より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-18T04:35:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。