論文の概要: Contracting with a Learning Agent

• arxiv url: http://arxiv.org/abs/2401.16198v1
• Date: Mon, 29 Jan 2024 14:53:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 14:29:35.533560
• Title: Contracting with a Learning Agent
• Title（参考訳）: 学習エージェントとの契約
• Authors: Guru Guruganesh, Yoav Kolumbus, Jon Schneider, Inbal Talgam-Cohen, Emmanouil-Vasileios Vlatakis-Gkaragkounis, Joshua R. Wang, S. Matthew Weinberg
• Abstract要約: 本研究では,学習エージェントとの繰り返し契約に関する研究を行い,結果が得られないエージェントに着目した。 我々は、複数のアクション間のエージェントの選択が成功/失敗に繋がる正準契約設定において、この問題に対する最適解を実現する。 我々の結果は、成功/失敗を超えて、プリンシパルが動的に再スケールする任意の非線形契約に一般化される。
• 参考スコア（独自算出の注目度）: 32.950708673180436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many real-life contractual relations differ completely from the clean, static model at the heart of principal-agent theory. Typically, they involve repeated strategic interactions of the principal and agent, taking place under uncertainty and over time. While appealing in theory, players seldom use complex dynamic strategies in practice, often preferring to circumvent complexity and approach uncertainty through learning. We initiate the study of repeated contracts with a learning agent, focusing on agents who achieve no-regret outcomes. Optimizing against a no-regret agent is a known open problem in general games; we achieve an optimal solution to this problem for a canonical contract setting, in which the agent's choice among multiple actions leads to success/failure. The solution has a surprisingly simple structure: for some $\alpha > 0$, initially offer the agent a linear contract with scalar $\alpha$, then switch to offering a linear contract with scalar $0$. This switch causes the agent to ``free-fall'' through their action space and during this time provides the principal with non-zero reward at zero cost. Despite apparent exploitation of the agent, this dynamic contract can leave \emph{both} players better off compared to the best static contract. Our results generalize beyond success/failure, to arbitrary non-linear contracts which the principal rescales dynamically. Finally, we quantify the dependence of our results on knowledge of the time horizon, and are the first to address this consideration in the study of strategizing against learning agents.
• Abstract（参考訳）: 多くの実生活契約関係は、主エージェント理論の中心にある清潔で静的なモデルとは完全に異なる。 通常は、主役とエージェントの戦略的相互作用が繰り返され、不確実性と時間とともに行われる。 理論上は魅力的だが、プレイヤーは複雑な動的戦略を実際に使うことはほとんどなく、しばしば複雑さを回避し、学習を通じて不確実性にアプローチすることを好んでいる。 我々は,学習エージェントとの繰り返し契約の研究を開始し,結果が得られないエージェントに焦点を当てた。 ノンレグレットエージェントに対する最適化は、一般的なゲームにおいて既知のオープン問題であり、複数のアクションの中でエージェントの選択が成功/失敗につながるような、標準契約設定におけるこの問題に対する最適な解決策を実現する。 約$\alpha > 0$の場合、まずエージェントにスカラー$\alpha$の線形コントラクトを提供し、それからスカラー$0$の線形コントラクトを提供するように切り替える。 このスイッチは、エージェントがアクション空間を通して ‘free-fall' し、この間、プリンシパルにゼロでない報酬をゼロコストで与える。 エージェントが明らかに悪用されているにもかかわらず、この動的契約は、最高の静的契約と比べて、 \emph{both} プレイヤーを良く引き離すことができる。 この結果は成功/失敗を超えて、主軸が動的に再スケールする任意の非線形契約へと一般化する。 最後に,我々の結果の時間軸知識への依存度を定量化し,学習エージェントに対する階層化の研究において,この考察を最初に取り上げる。

関連論文リスト

• Contractual Reinforcement Learning: Pulling Arms with Invisible Hands [68.77645200579181]
  本稿では,契約設計によるオンライン学習問題において,利害関係者の経済的利益を整合させる理論的枠組みを提案する。 計画問題に対して、遠目エージェントに対する最適契約を決定するための効率的な動的プログラミングアルゴリズムを設計する。 学習問題に対して,契約の堅牢な設計から探索と搾取のバランスに至るまでの課題を解き放つために,非回帰学習アルゴリズムの汎用設計を導入する。
  論文  参考訳（メタデータ） (2024-07-01T16:53:00Z)
• New Perspectives in Online Contract Design [2.296475290901356]
  本研究は, オンライン学習の観点から, 繰り返し主エージェント問題について考察する。 プリンシパルの目標は、反復的な相互作用を通じて彼女の効用を最大化する最適な契約を学ぶことである。
  論文  参考訳（メタデータ） (2024-03-11T20:28:23Z)
• Incentivized Learning in Principal-Agent Bandit Games [62.41639598376539]
  この作品では、主役がエージェントを通してしか環境と対話できないような、主役と主役のバンディットゲームが繰り返されている。 校長は、報酬を補うインセンティブを提供することで、エージェントの判断に影響を与えることができる。 我々は,マルチアームと線形コンテキスト設定の両方において,プリンシパルの後悔に対して,ほぼ最適な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-06T16:00:46Z)
• Impact of Decentralized Learning on Player Utilities in Stackelberg Games [57.08270857260131]
  多くの2エージェントシステムでは、各エージェントは別々に学習し、2つのエージェントの報酬は完全に一致しない。 分散学習を用いたStackelbergゲームとしてこれらのシステムをモデル化し、標準後悔ベンチマークが少なくとも1人のプレイヤーにとって最悪の線形後悔をもたらすことを示す。 我々は,これらのベンチマークに関して,両プレイヤーにとってほぼ最適な$O(T2/3)を後悔するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-29T23:38:28Z)
• Repeated Contracting with Multiple Non-Myopic Agents: Policy Regret and Limited Liability [6.512509337399156]
  本稿では,各ラウンドにおいて,主役が$k$エージェントの中から適応的に選択する契約条件について検討する。 エージェントは非ミオニックであり、プリンシパルのメカニズムはエージェント間でT$ラウンドの広範なフォームゲームを誘導する。
  論文  参考訳（メタデータ） (2024-02-27T01:01:59Z)
• Learning Optimal Contracts: How to Exploit Small Action Spaces [37.92189925462977]
  本稿では、主目的が結果依存の支払い方式にコミットする主目的問題について検討する。 約最適契約を高い確率で学習するアルゴリズムを設計する。 また、関連するオンライン学習環境において、$tildemathcalO(T4/5)$ regret を提供するためにも使用できる。
  論文  参考訳（メタデータ） (2023-09-18T14:18:35Z)
• Learning to Incentivize Information Acquisition: Proper Scoring Rules Meet Principal-Agent Model [64.94131130042275]
  インセンティブ付き情報取得問題について検討し、主治官がエージェントを雇って代理情報を収集する。 UCBアルゴリズムをモデルに適合させる,実証可能なサンプル効率の良いアルゴリズムを設計する。 本アルゴリズムは,主役の最適利益に対する微妙な推定手順と,所望のエージェントの行動にインセンティブを与える保守的な補正手法を特徴とする。
  論文  参考訳（メタデータ） (2023-03-15T13:40:16Z)
• Formal Contracts Mitigate Social Dilemmas in Multi-Agent RL [4.969697978555126]
  マルチエージェント強化学習(MARL)は、共通の環境で独立して行動する自律エージェントを訓練するための強力なツールである。 MARLは、個人インセンティブとグループインセンティブが多様化する際の準最適行動を引き起こす。 本稿では,事前に規定された条件下で,エージェントが自発的に報酬の束縛に同意するマルコフゲームの拡張を提案する。
  論文  参考訳（メタデータ） (2022-08-22T17:42:03Z)
• Learning in Stackelberg Games with Non-myopic Agents [60.927889817803745]
  そこで本研究では,主役が非筋力的な長寿命エージェントと繰り返し対話するスタックルバーグゲームについて,エージェントの支払関数を知らずに検討する。 我々は、非ミオピックエージェントの存在下での学習を、ミオピックエージェントの存在下で堅牢な帯域最適化に還元する一般的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2022-08-19T15:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。