論文の概要: Fair Resource Allocation in Weakly Coupled Markov Decision Processes

• arxiv url: http://arxiv.org/abs/2411.09804v1
• Date: Thu, 14 Nov 2024 20:40:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:37:44.786633
• Title: Fair Resource Allocation in Weakly Coupled Markov Decision Processes
• Title（参考訳）: 弱結合マルコフ決定過程における公平な資源配分
• Authors: Xiaohui Tu, Yossiri Adulyasak, Nima Akbarzadeh, Erick Delage,
• Abstract要約: マルコフ決定過程の弱結合としてモデル化された逐次的意思決定環境における資源配分について考察する。 我々は、従来の実用的(total-sum)目的ではなく、一般化されたジーニ関数を用いた公正性の定義を採用する。
• 参考スコア（独自算出の注目度）: 3.824858358548714
• License:
• Abstract: We consider fair resource allocation in sequential decision-making environments modeled as weakly coupled Markov decision processes, where resource constraints couple the action spaces of $N$ sub-Markov decision processes (sub-MDPs) that would otherwise operate independently. We adopt a fairness definition using the generalized Gini function instead of the traditional utilitarian (total-sum) objective. After introducing a general but computationally prohibitive solution scheme based on linear programming, we focus on the homogeneous case where all sub-MDPs are identical. For this case, we show for the first time that the problem reduces to optimizing the utilitarian objective over the class of "permutation invariant" policies. This result is particularly useful as we can exploit Whittle index policies in the restless bandits setting while, for the more general setting, we introduce a count-proportion-based deep reinforcement learning approach. Finally, we validate our theoretical findings with comprehensive experiments, confirming the effectiveness of our proposed method in achieving fairness.
• Abstract（参考訳）: 資源制約は、独立に運用されるサブマルコフ決定プロセス(サブMDP)のアクション空間と、それ以外は独立して動作するサブマルコフ決定プロセス(サブMDP)とを結合する。 我々は、従来の実用的(total-sum)目的ではなく、一般化されたジーニ関数を用いた公正性の定義を採用する。 線形プログラミングに基づく汎用的だが計算的に禁止された解法を導入した後、全てのサブMDPが同一である同質なケースに焦点をあてる。 この場合、この問題が「置換不変」ポリシーのクラスに対して実用的目的を最適化することを初めて示している。 この結果は、Whittleインデックスポリシーを安静な帯域設定で活用できる一方で、より一般的な設定では、カウントプロポーションに基づく深層強化学習アプローチを導入することで特に有用である。 最後に,提案手法の有効性を検証し,提案手法の有効性を検証した。

関連論文リスト

• Burning RED: Unlocking Subtask-Driven Reinforcement Learning and Risk-Awareness in Average-Reward Markov Decision Processes [7.028778922533688]
  平均回帰マルコフ決定プロセス(MDPs)は、不確実性の下でのシーケンシャルな意思決定の基盤となる枠組みを提供する。 平均再帰型MDPのユニークな構造特性を考察し,これを用いてReward-Extended Differential (RED) 強化学習を導入する。
  論文  参考訳（メタデータ） (2024-10-14T14:52:23Z)
• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Beyond Average Return in Markov Decision Processes [49.157108194438635]
  我々は、分散強化学習(DistRL)のより一般的なフレームワークであっても、一般化された手段のみが正確に最適化可能であることを証明した。 得られた推定器の誤差境界を提供し、このアプローチの潜在的な可能性とその限界について議論する。
  論文  参考訳（メタデータ） (2023-10-31T08:36:41Z)
• Domain Generalization via Rationale Invariance [70.32415695574555]
  本稿では,未確認環境においてもロバストな結果の維持を伴う領域一般化の課題を緩和する新たな視点を提供する。 本稿では,最終結果に対する要素的貢献を決定の根拠として扱い,各試料の根拠を行列として表現することを提案する。 提案手法は, 単純性に拘わらず, 様々なデータセット間で競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-08-22T03:31:40Z)
• Inducing Point Allocation for Sparse Gaussian Processes in High-Throughput Bayesian Optimisation [9.732863739456036]
  提案手法では,既存のポイント割当手法が最適化性能を著しく損なうことを示す。 決定点プロセスの品質・多様性の分解を利用して,BOにおける最初のポイント割り当て戦略を提案する。
  論文  参考訳（メタデータ） (2023-01-24T16:43:29Z)
• Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
  マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。 本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。 いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-14T18:18:02Z)
• A unified algorithm framework for mean-variance optimization in discounted Markov decision processes [7.510742715895749]
  本稿では,無限水平割引マルコフ決定過程(MDP)におけるリスク-逆平均分散最適化について検討する。 本稿では,処理不能なMPPを標準形式で再定義された報酬関数を持つ標準形式に変換するための擬似平均を導入する。 平均分散最適化のための2レベル最適化構造を持つ統合アルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-15T02:19:56Z)
• Learning Stochastic Majority Votes by Minimizing a PAC-Bayes Generalization Bound [15.557653926558638]
  分類器の有限アンサンブルに対する多数票の対について検討し、その一般化特性について検討する。 ディリクレ分布でインスタンス化し、予測されるリスクに対して閉じた形式と微分可能な表現を可能にする。 結果の多数決学習アルゴリズムは、最先端の精度と(非空きな)厳密な境界から恩恵を得る。
  論文  参考訳（メタデータ） (2021-06-23T16:57:23Z)
• Stein Variational Model Predictive Control [130.60527864489168]
  不確実性の下での意思決定は、現実の自律システムにとって極めて重要である。 モデル予測制御 (MPC) 法は, 複雑な分布を扱う場合, 適用範囲が限られている。 この枠組みが、挑戦的で非最適な制御問題における計画の成功に繋がることを示す。
  論文  参考訳（メタデータ） (2020-11-15T22:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。