論文の概要: Non-linear Welfare-Aware Strategic Learning

• arxiv url: http://arxiv.org/abs/2405.01810v2
• Date: Tue, 13 Aug 2024 19:19:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 17:46:37.915444
• Title: Non-linear Welfare-Aware Strategic Learning
• Title（参考訳）: 非線形福祉を意識した戦略的学習
• Authors: Tian Xie, Xueru Zhang,
• Abstract要約: 本稿では,戦略的個人行動の存在下でのアルゴリズム的意思決定について考察する。 まず,先行研究におけるエージェントベスト応答モデルを非線形設定に一般化する。 制限条件下でのみ3つの福祉が同時に最適な状態が得られることを示す。
• 参考スコア（独自算出の注目度）: 10.448052192725168
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies algorithmic decision-making in the presence of strategic individual behaviors, where an ML model is used to make decisions about human agents and the latter can adapt their behavior strategically to improve their future data. Existing results on strategic learning have largely focused on the linear setting where agents with linear labeling functions best respond to a (noisy) linear decision policy. Instead, this work focuses on general non-linear settings where agents respond to the decision policy with only "local information" of the policy. Moreover, we simultaneously consider the objectives of maximizing decision-maker welfare (model prediction accuracy), social welfare (agent improvement caused by strategic behaviors), and agent welfare (the extent that ML underestimates the agents). We first generalize the agent best response model in previous works to the non-linear setting, then reveal the compatibility of welfare objectives. We show the three welfare can attain the optimum simultaneously only under restrictive conditions which are challenging to achieve in non-linear settings. The theoretical results imply that existing works solely maximizing the welfare of a subset of parties inevitably diminish the welfare of the others. We thus claim the necessity of balancing the welfare of each party in non-linear settings and propose an irreducible optimization algorithm suitable for general strategic learning. Experiments on synthetic and real data validate the proposed algorithm.
• Abstract（参考訳）: 本稿では,人間エージェントに関する決定をMLモデルを用いて行う戦略的個人行動の存在下でのアルゴリズム的意思決定について検討する。 既存の戦略学習の結果は、線形ラベリング機能を持つエージェントが(ノイズの多い)線形決定ポリシーに最もよく反応する線形設定に主に焦点が当てられている。 代わりに、この研究は、エージェントが政策の「ローカル情報」のみで決定ポリシーに反応する一般の非線形設定に焦点を当てている。 さらに、意思決定者福祉(モデル予測精度)、社会福祉(戦略行動によるエージェント改善)、エージェント福祉(MLがエージェントを過小評価する程度)の最大化を同時に検討する。 まず,先行研究におけるエージェントベスト応答モデルを非線形設定に一般化し,福祉目的との整合性を明らかにする。 非線形環境下では達成が困難な制約条件下でのみ,3つの福祉が同時に最適に達成可能であることを示す。 理論的な結果は、既存の作品が政党の一部の福祉を最大化するだけで、必然的に他者の福祉を減少させることを示唆している。 そこで我々は,非線形環境における各当事者の福祉バランスの必要性を主張し,一般的な戦略学習に適した既約最適化アルゴリズムを提案する。 合成および実データによる実験により提案アルゴリズムの有効性が検証された。

関連論文リスト

• Bi-Level Offline Policy Optimization with Limited Exploration [1.8130068086063336]
  我々は、固定された事前コンパイルされたデータセットに基づいて良いポリシーを学習しようとするオフライン強化学習(RL)について研究する。 ポリシー(上層)と値関数(下層)の階層的相互作用をモデル化する2レベル構造化ポリシー最適化アルゴリズムを提案する。 我々は、オフラインRLのための合成、ベンチマーク、実世界のデータセットを混合して評価し、最先端の手法と競合することを示す。
  論文  参考訳（メタデータ） (2023-10-10T02:45:50Z)
• Policy learning "without" overlap: Pessimism and generalized empirical Bernstein's inequality [94.89246810243053]
  本論文は,事前収集した観測値を利用して最適な個別化決定規則を学習するオフライン政策学習について検討する。 既存の政策学習法は、一様重なりの仮定、すなわち、全ての個々の特性に対する全ての作用を探索する正当性は、境界を低くしなければならない。 我々は,点推定の代わりに低信頼度境界(LCB)を最適化する新しいアルゴリズムであるPPLを提案する。
  論文  参考訳（メタデータ） (2022-12-19T22:43:08Z)
• Offline Reinforcement Learning with Closed-Form Policy Improvement Operators [88.54210578912554]
  行動制約付きポリシー最適化は、オフライン強化学習に対処するための成功パラダイムであることが示されている。 本稿では,閉形式政策改善演算子を提案する。 我々は、標準的なD4RLベンチマークにおいて、最先端アルゴリズムに対するそれらの効果を実証的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T06:29:26Z)
• Strategic Decision-Making in the Presence of Information Asymmetry: Provably Efficient RL with Algorithmic Instruments [55.41685740015095]
  我々は,戦略MDPと呼ばれる新しいモデルの下で,オフライン強化学習について検討する。 アルゴリズムiNstruments(PLAN)を用いたペシミスティックポリシー学習法を提案する。
  論文  参考訳（メタデータ） (2022-08-23T15:32:44Z)
• Offline Policy Optimization with Eligible Actions [34.4530766779594]
  オフラインポリシーの最適化は多くの現実世界の意思決定問題に大きな影響を与える可能性がある。 重要度サンプリングとその変種は、オフラインポリシー評価において一般的に使用されるタイプの推定器である。 そこで本稿では, 州ごとの正規化制約によって過度に適合することを避けるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-01T19:18:15Z)
• Optimistic Linear Support and Successor Features as a Basis for Optimal Policy Transfer [7.970144204429356]
  我々は、SFが凸被覆集合を形成するポリシーの集合を学習するために、最適化線形サポートアルゴリズムのSFベースの拡張を導入する。 この集合におけるポリシは、一般化されたポリシー改善を通じて組み合わせて、新しい線形表現可能なタスクに対して最適な振る舞いを構築することができることを示す。
  論文  参考訳（メタデータ） (2022-06-22T19:00:08Z)
• Off-Policy Evaluation with Policy-Dependent Optimization Response [90.28758112893054]
  我々は,テキスト政治に依存した線形最適化応答を用いた非政治評価のための新しいフレームワークを開発した。 摂動法による政策依存推定のための非バイアス推定器を構築する。 因果介入を最適化するための一般的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-02-25T20:25:37Z)
• Building a Foundation for Data-Driven, Interpretable, and Robust Policy Design using the AI Economist [67.08543240320756]
  AIエコノミストフレームワークは,2段階強化学習とデータ駆動型シミュレーションを用いて,効果的な,柔軟な,解釈可能なポリシー設計を可能にする。 RLを用いて訓練されたログリニア政策は、過去の結果と比較して、公衆衛生と経済の両面から社会福祉を著しく改善することがわかった。
  論文  参考訳（メタデータ） (2021-08-06T01:30:41Z)
• Provably Correct Optimization and Exploration with Non-linear Policies [65.60853260886516]
  ENIACは、批評家の非線形関数近似を可能にするアクター批判手法である。 特定の仮定の下では、学習者は$o(poly(d))$の探索ラウンドで最適に近い方針を見つける。 我々は,この適応を経験的に評価し,線形手法に触発された前処理よりも優れることを示す。
  論文  参考訳（メタデータ） (2021-03-22T03:16:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。