論文の概要: Robust and Performance Incentivizing Algorithms for Multi-Armed Bandits with Strategic Agents

• arxiv url: http://arxiv.org/abs/2312.07929v1
• Date: Wed, 13 Dec 2023 06:54:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-12-14 16:21:06.699374
• Title: Robust and Performance Incentivizing Algorithms for Multi-Armed Bandits with Strategic Agents
• Title（参考訳）: 戦略エージェントを用いたマルチArmed Banditsのロバストおよび性能インセンティブ化アルゴリズム
• Authors: Seyed A. Esmaeili, Suho Shin, Aleksandrs Slivkins
• Abstract要約: マルチアームバンディット問題の変種を考察する。 具体的には、武器は、報酬を改善したり、吸収したりできる戦略的なエージェントである。 我々は、プロパティの集合を満たすMABアルゴリズムのクラスを特定し、それらが平衡におけるトップレベルのパフォーマンスを刺激するメカニズムをもたらすことを示す。
• 参考スコア（独自算出の注目度）: 57.627352949446625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider a variant of the stochastic multi-armed bandit problem. Specifically, the arms are strategic agents who can improve their rewards or absorb them. The utility of an agent increases if she is pulled more or absorbs more of her rewards but decreases if she spends more effort improving her rewards. Agents have heterogeneous properties, specifically having different means and able to improve their rewards up to different levels. Further, a non-empty subset of agents are ''honest'' and in the worst case always give their rewards without absorbing any part. The principal wishes to obtain a high revenue (cumulative reward) by designing a mechanism that incentives top level performance at equilibrium. At the same time, the principal wishes to be robust and obtain revenue at least at the level of the honest agent with the highest mean in case of non-equilibrium behaviour. We identify a class of MAB algorithms which we call performance incentivizing which satisfy a collection of properties and show that they lead to mechanisms that incentivize top level performance at equilibrium and are robust under any strategy profile. Interestingly, we show that UCB is an example of such a MAB algorithm. Further, in the case where the top performance level is unknown we show that combining second price auction ideas with performance incentivizing algorithms achieves performance at least at the second top level while also being robust.
• Abstract（参考訳）: 確率的多重武装バンディット問題の変種を考察する。 特に、武器は報酬を改善したり吸収したりできる戦略的なエージェントである。 エージェントの効用は、より多くの報酬を受けるか、より多くの報酬を吸収するが、より多くの努力を払って報酬を改善すると減少する。 エージェントは異質な特性を持ち、特に異なる手段を持ち、報酬を異なるレベルまで改善することができる。 さらに、空でないエージェントのサブセットは'honest'であり、最悪の場合、いかなる部分も吸収せずに報酬を与える。 主な目的は、均衡においてトップレベルのパフォーマンスを刺激するメカニズムを設計することで、高い収益(累積報酬)を得ることである。 同時に、主目的は、少なくとも非平衡行動の場合に最も高い平均を持つ正直なエージェントのレベルで、堅牢で収益を得ることを望んでいる。 我々は、プロパティの集合を満たす性能インセンティブと呼ばれるMABアルゴリズムのクラスを特定し、それらが平衡におけるトップレベルパフォーマンスのインセンティブとなり、任意の戦略プロファイルの下で堅牢であることを示す。 興味深いことに、UCBはそのようなMABアルゴリズムの例である。 さらに,最上位レベルが不明な場合には,第2価格オークションのアイデアと性能インセンティブアルゴリズムを組み合わせることで,少なくとも第2位レベルにおいては,ロバストであることを示す。

関連論文リスト

• Deceptive Sequential Decision-Making via Regularized Policy Optimization [54.38738815697299]
  システムの基本的報酬に対する敵意を積極的に欺く政策合成問題に対する2つの正則化戦略を提示する。 政策最適化問題において,各形態の騙しをいかに実装できるかを示す。 ディバータリーの詐欺は、最も重要なエージェントが最重要であると敵に信じさせ、同時に、その最適で非知覚的な価値の980.83%の合計的な報酬を得ることを示せる。
  論文  参考訳（メタデータ） (2025-01-30T23:41:40Z)
• Strategic Multi-Armed Bandit Problems Under Debt-Free Reporting [21.14355421498382]
  我々は、古典的なマルチアームバンディット問題を考えるが、戦略的な武器で考える。 両腕が真に振る舞う平衡を確立するための新しいメカニズムを導入し、その報酬をできるだけ多く開示する。 この機構により、エージェントは腕の中で2番目に高い(真の)報酬を得ることができ、累積的後悔は$O(log(T)/Delta)$(problem-dependent)または$O(sqrtTlog(T))$(worst-case)で束縛される。
  論文  参考訳（メタデータ） (2025-01-27T13:01:34Z)
• Constrained Best Arm Identification in Grouped Bandits [3.387374559368306]
  そこで本研究では,各アームが複数の独立したサブアームから構成されるグループバンドセットについて検討する。 我々は、腕が実現可能であるとみなすためには、その属性のすべての平均報酬が指定された閾値を超えるべきであるという制約を課す。 ゴールは、固定された信頼設定において、実現可能な腕のセットの中で、属性の平均的な報酬が最大となる腕を見つけることである。
  論文  参考訳（メタデータ） (2024-12-11T02:19:19Z)
• Competing Bandits in Decentralized Large Contextual Matching Markets [13.313881962771777]
  我々は、需要側(プレイヤーまたはエージェント)が大きな供給側(腕)と競合する二面的マッチング市場における分散学習を研究する。 提案アルゴリズムは,腕の数によらず,インスタンス依存の対数的後悔を実現する。
  論文  参考訳（メタデータ） (2024-11-18T18:08:05Z)
• Principal-Agent Reward Shaping in MDPs [50.914110302917756]
  主要な問題とは、ある政党が他の政党に代わって行動し、利害対立を引き起こすことである。 本研究では,主役とエージェントが異なる報酬関数を持つ2人プレイのスタックゲームについて検討し,エージェントは両プレイヤーに対してMDPポリシーを選択する。 この結果は,有限の地平線を持つ木と決定論的決定過程を確立した。
  論文  参考訳（メタデータ） (2023-12-30T18:30:44Z)
• Bandits Meet Mechanism Design to Combat Clickbait in Online Recommendation [50.469872635246176]
  我々は,マルチアームバンディット問題の戦略的変種について検討し,これを戦略的クリックバンディット(Click-bandit)と呼ぶ。 このモデルは、推奨項目の選択がクリックスルー率とクリック後の報酬の両方に依存するオンラインレコメンデーションのアプリケーションによって動機付けられている。
  論文  参考訳（メタデータ） (2023-11-27T09:19:01Z)
• Estimating and Incentivizing Imperfect-Knowledge Agents with Hidden Rewards [4.742123770879715]
  実際には、インセンティブ提供者はインセンティブ付きエージェントの報酬実現を観察できないことが多い。 本稿では,自己関心学習エージェントと学習プリンシパルの繰り返し選択ゲームについて検討する。 我々は,プリンシパルのインセンティブとエージェントの選択履歴のみを入力とする推定器を導入する。
  論文  参考訳（メタデータ） (2023-08-13T08:12:01Z)
• Competing for Shareable Arms in Multi-Player Multi-Armed Bandits [29.08799537067425]
  本稿では,プレイヤーが自尊心を持ち,自己報酬を最大化することを目的とした,新しいマルチプレイヤーマルチアームバンディット(MPMAB)について検討する。 本稿では, 平均アロケーション (SMAA) を用いた新たな自己中心型MPMABを提案する。 我々は,一人の利己的なプレイヤーが,逸脱によって報酬を著しく増加させることはできず,また,他のプレイヤーの報酬に有害な影響も与えないことを確認した。
  論文  参考訳（メタデータ） (2023-05-30T15:59:56Z)
• Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark [61.43264961005614]
  我々は、50万以上のリッチで多様なシナリオを含む134個のChoose-Your-Own-Adventureゲームのベンチマークを開発する。 我々は、エージェントの傾向をパワー・シーキングと評価し、不使用を生じさせ、倫理的違反を犯す。 以上の結果から,エージェントは有能かつ道徳的に行動できることが示唆された。
  論文  参考訳（メタデータ） (2023-04-06T17:59:03Z)
• Learning to Incentivize Information Acquisition: Proper Scoring Rules Meet Principal-Agent Model [64.94131130042275]
  インセンティブ付き情報取得問題について検討し、主治官がエージェントを雇って代理情報を収集する。 UCBアルゴリズムをモデルに適合させる,実証可能なサンプル効率の良いアルゴリズムを設計する。 本アルゴリズムは,主役の最適利益に対する微妙な推定手順と,所望のエージェントの行動にインセンティブを与える保守的な補正手法を特徴とする。
  論文  参考訳（メタデータ） (2023-03-15T13:40:16Z)
• Incentive-Aware Recommender Systems in Two-Sided Markets [49.692453629365204]
  最適性能を達成しつつエージェントのインセンティブと整合する新しいレコメンデータシステムを提案する。 我々のフレームワークは、このインセンティブを意識したシステムを、両側市場におけるマルチエージェントバンディット問題としてモデル化する。 どちらのアルゴリズムも、エージェントが過剰な露出から保護する、ポストフェアネス基準を満たす。
  論文  参考訳（メタデータ） (2022-11-23T22:20:12Z)
• Distributional Reward Estimation for Effective Multi-Agent Deep Reinforcement Learning [19.788336796981685]
  実効的マルチエージェント強化学習(DRE-MARL)のための分散逆推定フレームワークを提案する。 本研究の目的は,安定トレーニングのための多行動分岐報酬推定と政策重み付け報酬アグリゲーションを設計することである。 DRE-MARLの優位性は,有効性とロバスト性の両方の観点から,SOTAベースラインと比較して,ベンチマークマルチエージェントシナリオを用いて実証される。
  論文  参考訳（メタデータ） (2022-10-14T08:31:45Z)
• Learning in Stackelberg Games with Non-myopic Agents [60.927889817803745]
  そこで本研究では,主役が非筋力的な長寿命エージェントと繰り返し対話するスタックルバーグゲームについて,エージェントの支払関数を知らずに検討する。 我々は、非ミオピックエージェントの存在下での学習を、ミオピックエージェントの存在下で堅牢な帯域最適化に還元する一般的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2022-08-19T15:49:30Z)
• Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
  本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。 エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。 我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
  論文  参考訳（メタデータ） (2022-06-01T00:44:53Z)
• The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models [85.68751244243823]
  RLエージェントが不特定報酬関数のギャップを悪用するリワードハッキングは広く観測されているが、体系的にはまだ研究されていない。 本稿では,モデル能力,行動空間分解能,観測空間雑音,訓練時間といったエージェント能力の関数としての報酬ハッキングについて検討する。 エージェントの動作が定性的にシフトする能力閾値は、真の報酬の急激な減少につながる。
  論文  参考訳（メタデータ） (2022-01-10T18:58:52Z)
• Modelling Cournot Games as Multi-agent Multi-armed Bandits [4.751331778201811]
  繰り返しCournot oligopolyゲームにおけるマルチエージェントマルチアーム・バンディット(MA-MAB)の設定について検討した。 私たちは、$epsilon$-greedyアプローチが、従来のMABアプローチよりもより実行可能な学習メカニズムを提供することに気付きました。 順序付けられたアクション空間を利用する新しいアプローチとして、$epsilon$-greedy+HLと$epsilon$-greedy+ELを提案する。
  論文  参考訳（メタデータ） (2022-01-01T22:02:47Z)
• Fairness in Ranking under Uncertainty [42.51950847766776]
  不公平は、より有益なエージェントが、より有益なエージェントよりも悪い結果を得るときに起こる。 私たちの中心的なポイントは、不公平の主な原因は不確実性であるということです。 有効性と有効性とを最適にトレードオフするランキングを、プリンシパルにどのように計算するかを示す。
  論文  参考訳（メタデータ） (2021-07-14T14:10:16Z)
• VCG Mechanism Design with Unknown Agent Values under Stochastic Bandit Feedback [104.06766271716774]
  本研究では,エージェントが自己の価値を知らない場合に,マルチラウンドの福祉最大化機構設計問題について検討する。 まず、福祉に対する後悔の3つの概念、各エージェントの個々のユーティリティ、メカニズムの3つの概念を定義します。 当社のフレームワークは価格体系を柔軟に制御し、エージェントと販売者の後悔のトレードオフを可能にする。
  論文  参考訳（メタデータ） (2020-04-19T18:00:58Z)
• Distributed Cooperative Decision Making in Multi-agent Multi-armed Bandits [6.437761597996503]
  複数のエージェントが同じバンディット(MAB)に直面している分散意思決定問題について検討する。 我々は,各アームの平均報酬を協調的に推定するための動的,コンセンサスに基づく分散推定アルゴリズムを設計する。 両アルゴリズムが中心核融合センターの性能に近いグループ性能を達成することを示す。
  論文  参考訳（メタデータ） (2020-03-03T03:20:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。