論文の概要: Setting Fair Incentives to Maximize Improvement
- arxiv url: http://arxiv.org/abs/2203.00134v1
- Date: Mon, 28 Feb 2022 23:09:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-02 15:35:33.261910
- Title: Setting Fair Incentives to Maximize Improvement
- Title（参考訳）: 改善の最大化のための公正なインセンティブの設定
- Authors: Saba Ahmadi, Hedyeh Beyhaghi, Avrim Blum, Keziah Naggita
- Abstract要約: 短期目標を設定することでエージェントの改善を支援するという課題について考察する。
主要な技術的課題は、目標レベルのセットにおける社会福祉の非単調性である。
社会福祉と公正目的の両面での最適・準最適改善のためのアルゴリズムを提供する。
- 参考スコア（独自算出の注目度）: 11.078814063722803
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of helping agents improve by setting short-term
goals. Given a set of target skill levels, we assume each agent will try to
improve from their initial skill level to the closest target level within reach
or do nothing if no target level is within reach. We consider two models: the
common improvement capacity model, where agents have the same limit on how much
they can improve, and the individualized improvement capacity model, where
agents have individualized limits. Our goal is to optimize the target levels
for social welfare and fairness objectives, where social welfare is defined as
the total amount of improvement, and fairness objectives are considered where
the agents belong to different underlying populations. A key technical
challenge of this problem is the non-monotonicity of social welfare in the set
of target levels, i.e., adding a new target level may decrease the total amount
of improvement as it may get easier for some agents to improve. This is
especially challenging when considering multiple groups because optimizing
target levels in isolation for each group and outputting the union may result
in arbitrarily low improvement for a group, failing the fairness objective.
Considering these properties, we provide algorithms for optimal and
near-optimal improvement for both social welfare and fairness objectives. These
algorithmic results work for both the common and individualized improvement
capacity models. Furthermore, we show a placement of target levels exists that
is approximately optimal for the social welfare of each group. Unlike the
algorithmic results, this structural statement only holds in the common
improvement capacity model, and we show counterexamples in the individualized
improvement capacity model. Finally, we extend our algorithms to learning
settings where we have only sample access to the initial skill levels of
agents.
- Abstract（参考訳）: 我々は,短期目標を設定することでエージェントの改善を支援する問題を考える。
目標スキルレベルのセットが与えられた場合、各エージェントは、最初のスキルレベルから、到達範囲内で最も近いターゲットレベルに改善しようとするだろうし、到達範囲内に目標レベルがなければ何もしないだろうと仮定する。
共通の改善能力モデル(common improvement capacity model)と、エージェントが個別化された制限を持つ個別化改善能力モデル( individualized improvement capacity model)の2つのモデルを検討した。
我々のゴールは、社会福祉を改善の総量として定義する社会福祉と公正目標の目標レベルを最適化することであり、公正目標とは、エージェントが異なる集団に属している場所である。
この問題の主な技術的課題は、目標レベルのセットにおける社会的福祉の非単調性、すなわち、新たな目標レベルの追加は、一部のエージェントが改善しやすくなるにつれて、全体の改善量を減少させる可能性があることである。
これは、複数のグループを分離してターゲットレベルを最適化し、統合をアウトプットすることで、グループに対して任意に改善が低くなり、公平さの目標を損なう可能性があるため、特に難しい。
これらの特性を考慮し,社会福祉と公平性目標の両方に対して,最適および至近的改善のためのアルゴリズムを提案する。
これらのアルゴリズムによる結果は、共通および個別化された改善能力モデルの両方に有効である。
さらに,各グループの社会福祉にほぼ最適な目標レベルの配置が存在することを示す。
アルゴリズム的な結果とは異なり、この構造的ステートメントは共通改善容量モデルにのみ保持され、個別化改善容量モデルに反例を示す。
最後に、アルゴリズムを学習環境に拡張し、エージェントの初期スキルレベルへのサンプルアクセスしかできないようにします。
関連論文リスト
- Cooperation and Fairness in Multi-Agent Reinforcement Learning [6.164771707307928]
移動・輸送システムの資源に制約のある環境では、公平さを犠牲にして効率性を実現することができる。
マルチエージェント強化学習(MARL)を用いた分散エージェント群に対する公平なマルチエージェントナビゲーションの問題を考える。
このモデルでは, ランダムな代入を用いて訓練したベースラインに対して, 効率が14%向上し, 公平性が5%向上することがわかった。
論文 参考訳（メタデータ） (2024-10-19T00:10:52Z) - Federated Fairness without Access to Sensitive Groups [12.888927461513472]
連合学習におけるグループフェアネスへの現在のアプローチは、トレーニング中に事前に定義されラベル付けされたセンシティブなグループが存在することを前提としている。
我々は、センシティブなグループや追加のラベルの事前定義された定義に依存しないグループフェアネスを保証するための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-02-22T19:24:59Z) - Reinforcement Learning with Non-Cumulative Objective [12.906500431427716]
強化学習では、その目的は、ほぼ常にプロセスに沿った報酬に対する累積関数として定義される。
本稿では,そのような目的を最適化するための既存アルゴリズムの修正を提案する。
論文 参考訳（メタデータ） (2023-07-11T01:20:09Z) - Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。
クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。
tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。
理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
論文 参考訳（メタデータ） (2023-05-19T10:47:44Z) - Discrete Factorial Representations as an Abstraction for Goal
Conditioned Reinforcement Learning [99.38163119531745]
離散化ボトルネックを適用することにより,目標条件付きRLセットアップの性能が向上することを示す。
分布外目標に対する期待した回帰を実験的に証明し、同時に表現的な構造で目標を指定できるようにします。
論文 参考訳（メタデータ） (2022-11-01T03:31:43Z) - Goal-Conditioned Q-Learning as Knowledge Distillation [136.79415677706612]
目標条件設定における非政治強化学習と知識蒸留との関連について検討する。
これは,目標の空間が高次元である場合に,目標条件付き非政治強化学習の性能を向上させることを実証的に示す。
また,複数のスパース目標を同時に達成した場合に,この手法を効果的に学習できることを示す。
論文 参考訳（メタデータ） (2022-08-28T22:01:10Z) - Generative multitask learning mitigates target-causing confounding [61.21582323566118]
マルチタスク学習のための因果表現学習のためのシンプルでスケーラブルなアプローチを提案する。
改善は、目標を狙うが入力はしない、観測されていない共同ファウンダーを緩和することによる。
人の属性とタスクノミーのデータセットに対する我々の結果は、事前の確率シフトに対するロバストネスの概念的改善を反映している。
論文 参考訳（メタデータ） (2022-02-08T20:42:14Z) - Decentralized Reinforcement Learning: Global Decision-Making via Local
Economic Transactions [80.49176924360499]
我々は、シーケンシャルな意思決定問題を解決するために、単純で専門的で自己関心のあるエージェントの社会を指示する枠組みを確立する。
我々は分散強化学習アルゴリズムのクラスを導出する。
我々は、より効率的な移動学習のための社会固有のモジュラー構造の潜在的な利点を実証する。
論文 参考訳（メタデータ） (2020-07-05T16:41:09Z) - Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。
エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。
そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。
提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
論文 参考訳（メタデータ） (2020-06-17T03:58:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。