論文の概要: Robust and Performance Incentivizing Algorithms for Multi-Armed Bandits with Strategic Agents

• arxiv url: http://arxiv.org/abs/2312.07929v2
• Date: Sun, 09 Mar 2025 19:11:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 22:19:49.530721
• Title: Robust and Performance Incentivizing Algorithms for Multi-Armed Bandits with Strategic Agents
• Title（参考訳）: 戦略エージェントを用いたマルチArmed Banditsのロバストおよび性能インセンティブ化アルゴリズム
• Authors: Seyed A. Esmaeili, Suho Shin, Aleksandrs Slivkins,
• Abstract要約: 性能インセンティブとロバストネスの2つの目的を同時に満たすバンディットアルゴリズムのクラスを導入する。 そこで本研究では,第2価格オークションのアイデアをアルゴリズムと組み合わせることで,プリンシパルが腕の性能特性に関する情報を持たないような設定が可能であることを示す。
• 参考スコア（独自算出の注目度）: 52.75161794035767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motivated by applications such as online labor markets we consider a variant of the stochastic multi-armed bandit problem where we have a collection of arms representing strategic agents with different performance characteristics. The platform (principal) chooses an agent in each round to complete a task. Unlike the standard setting, when an arm is pulled it can modify its reward by absorbing it or improving it at the expense of a higher cost. The principle has to solve a mechanism design problem to incentivize the arms to give their best performance. However, since even with an effective mechanism agents may still deviate from rational behavior, the principal wants a robust algorithm that also gives a non-vacuous guarantee on the total accumulated rewards under non-equilibrium behavior. In this paper, we introduce a class of bandit algorithms that meet the two objectives of performance incentivization and robustness simultaneously. We do this by identifying a collection of intuitive properties that a bandit algorithm has to satisfy to achieve these objectives. Finally, we show that settings where the principal has no information about the arms' performance characteristics can be handled by combining ideas from second price auctions with our algorithms.
• Abstract（参考訳）: オンライン労働市場のような応用に動機づけられた我々は、異なるパフォーマンス特性を持つ戦略エージェントを表す武器のコレクションを持つ確率的マルチアームバンディット問題の変種を考える。 プラットフォーム(プリンシパル)は各ラウンドのエージェントを選択してタスクを完了させる。 通常の設定とは異なり、腕を引っ張ると、高いコストを犠牲にして、それを吸収したり、改善したりすることで報酬を変更することができる。 原則は、最高のパフォーマンスを与えるために腕にインセンティブを与えるメカニズム設計問題を解決する必要がある。 しかしながら、効果的な機構を持つエージェントが依然として合理的な行動から逸脱する可能性があるため、主席は非平衡な振る舞いの下で蓄積された報酬の合計を空でない保証を与える頑健なアルゴリズムを望んでいる。 本稿では,パフォーマンスインセンティブとロバストネスの2つの目的を同時に満たすバンディットアルゴリズムのクラスを紹介する。 我々は,これらの目的を達成するために,帯域幅アルゴリズムが満たさなければならない直感的な特性の集合を同定する。 最後に,第2価格オークションのアイデアをアルゴリズムと組み合わせることで,プリンシパルが腕のパフォーマンス特性に関する情報を持たない設定を処理可能であることを示す。

関連論文リスト

• Deceptive Sequential Decision-Making via Regularized Policy Optimization [54.38738815697299]
  システムの基本的報酬に対する敵意を積極的に欺く政策合成問題に対する2つの正則化戦略を提示する。 政策最適化問題において,各形態の騙しをいかに実装できるかを示す。 ディバータリーの詐欺は、最も重要なエージェントが最重要であると敵に信じさせ、同時に、その最適で非知覚的な価値の980.83%の合計的な報酬を得ることを示せる。
  論文  参考訳（メタデータ） (2025-01-30T23:41:40Z)
• Strategic Multi-Armed Bandit Problems Under Debt-Free Reporting [21.14355421498382]
  我々は、古典的なマルチアームバンディット問題を考えるが、戦略的な武器で考える。 両腕が真に振る舞う平衡を確立するための新しいメカニズムを導入し、その報酬をできるだけ多く開示する。 この機構により、エージェントは腕の中で2番目に高い(真の)報酬を得ることができ、累積的後悔は$O(log(T)/Delta)$(problem-dependent)または$O(sqrtTlog(T))$(worst-case)で束縛される。
  論文  参考訳（メタデータ） (2025-01-27T13:01:34Z)
• Constrained Best Arm Identification in Grouped Bandits [3.387374559368306]
  そこで本研究では,各アームが複数の独立したサブアームから構成されるグループバンドセットについて検討する。 我々は、腕が実現可能であるとみなすためには、その属性のすべての平均報酬が指定された閾値を超えるべきであるという制約を課す。 ゴールは、固定された信頼設定において、実現可能な腕のセットの中で、属性の平均的な報酬が最大となる腕を見つけることである。
  論文  参考訳（メタデータ） (2024-12-11T02:19:19Z)
• Competing Bandits in Decentralized Large Contextual Matching Markets [13.313881962771777]
  我々は、需要側(プレイヤーまたはエージェント)が大きな供給側(腕)と競合する二面的マッチング市場における分散学習を研究する。 提案アルゴリズムは,腕の数によらず,インスタンス依存の対数的後悔を実現する。
  論文  参考訳（メタデータ） (2024-11-18T18:08:05Z)
• Principal-Agent Reward Shaping in MDPs [50.914110302917756]
  主要な問題とは、ある政党が他の政党に代わって行動し、利害対立を引き起こすことである。 本研究では,主役とエージェントが異なる報酬関数を持つ2人プレイのスタックゲームについて検討し,エージェントは両プレイヤーに対してMDPポリシーを選択する。 この結果は,有限の地平線を持つ木と決定論的決定過程を確立した。
  論文  参考訳（メタデータ） (2023-12-30T18:30:44Z)
• Bandits Meet Mechanism Design to Combat Clickbait in Online Recommendation [50.469872635246176]
  我々は,マルチアームバンディット問題の戦略的変種について検討し,これを戦略的クリックバンディット(Click-bandit)と呼ぶ。 このモデルは、推奨項目の選択がクリックスルー率とクリック後の報酬の両方に依存するオンラインレコメンデーションのアプリケーションによって動機付けられている。
  論文  参考訳（メタデータ） (2023-11-27T09:19:01Z)
• Estimating and Incentivizing Imperfect-Knowledge Agents with Hidden Rewards [4.742123770879715]
  実際には、インセンティブ提供者はインセンティブ付きエージェントの報酬実現を観察できないことが多い。 本稿では,自己関心学習エージェントと学習プリンシパルの繰り返し選択ゲームについて検討する。 我々は,プリンシパルのインセンティブとエージェントの選択履歴のみを入力とする推定器を導入する。
  論文  参考訳（メタデータ） (2023-08-13T08:12:01Z)
• Competing for Shareable Arms in Multi-Player Multi-Armed Bandits [29.08799537067425]
  本稿では,プレイヤーが自尊心を持ち,自己報酬を最大化することを目的とした,新しいマルチプレイヤーマルチアームバンディット(MPMAB)について検討する。 本稿では, 平均アロケーション (SMAA) を用いた新たな自己中心型MPMABを提案する。 我々は,一人の利己的なプレイヤーが,逸脱によって報酬を著しく増加させることはできず,また,他のプレイヤーの報酬に有害な影響も与えないことを確認した。
  論文  参考訳（メタデータ） (2023-05-30T15:59:56Z)
• Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark [61.43264961005614]
  我々は、50万以上のリッチで多様なシナリオを含む134個のChoose-Your-Own-Adventureゲームのベンチマークを開発する。 我々は、エージェントの傾向をパワー・シーキングと評価し、不使用を生じさせ、倫理的違反を犯す。 以上の結果から,エージェントは有能かつ道徳的に行動できることが示唆された。
  論文  参考訳（メタデータ） (2023-04-06T17:59:03Z)
• Learning to Incentivize Information Acquisition: Proper Scoring Rules Meet Principal-Agent Model [64.94131130042275]
  インセンティブ付き情報取得問題について検討し、主治官がエージェントを雇って代理情報を収集する。 UCBアルゴリズムをモデルに適合させる,実証可能なサンプル効率の良いアルゴリズムを設計する。 本アルゴリズムは,主役の最適利益に対する微妙な推定手順と,所望のエージェントの行動にインセンティブを与える保守的な補正手法を特徴とする。
  論文  参考訳（メタデータ） (2023-03-15T13:40:16Z)
• Incentive-Aware Recommender Systems in Two-Sided Markets [49.692453629365204]
  最適性能を達成しつつエージェントのインセンティブと整合する新しいレコメンデータシステムを提案する。 我々のフレームワークは、このインセンティブを意識したシステムを、両側市場におけるマルチエージェントバンディット問題としてモデル化する。 どちらのアルゴリズムも、エージェントが過剰な露出から保護する、ポストフェアネス基準を満たす。
  論文  参考訳（メタデータ） (2022-11-23T22:20:12Z)
• Distributional Reward Estimation for Effective Multi-Agent Deep Reinforcement Learning [19.788336796981685]
  実効的マルチエージェント強化学習(DRE-MARL)のための分散逆推定フレームワークを提案する。 本研究の目的は,安定トレーニングのための多行動分岐報酬推定と政策重み付け報酬アグリゲーションを設計することである。 DRE-MARLの優位性は,有効性とロバスト性の両方の観点から,SOTAベースラインと比較して,ベンチマークマルチエージェントシナリオを用いて実証される。
  論文  参考訳（メタデータ） (2022-10-14T08:31:45Z)
• Learning in Stackelberg Games with Non-myopic Agents [60.927889817803745]
  そこで本研究では,主役が非筋力的な長寿命エージェントと繰り返し対話するスタックルバーグゲームについて,エージェントの支払関数を知らずに検討する。 我々は、非ミオピックエージェントの存在下での学習を、ミオピックエージェントの存在下で堅牢な帯域最適化に還元する一般的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2022-08-19T15:49:30Z)
• Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
  本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。 エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。 我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
  論文  参考訳（メタデータ） (2022-06-01T00:44:53Z)
• The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models [85.68751244243823]
  RLエージェントが不特定報酬関数のギャップを悪用するリワードハッキングは広く観測されているが、体系的にはまだ研究されていない。 本稿では,モデル能力,行動空間分解能,観測空間雑音,訓練時間といったエージェント能力の関数としての報酬ハッキングについて検討する。 エージェントの動作が定性的にシフトする能力閾値は、真の報酬の急激な減少につながる。
  論文  参考訳（メタデータ） (2022-01-10T18:58:52Z)
• Modelling Cournot Games as Multi-agent Multi-armed Bandits [4.751331778201811]
  繰り返しCournot oligopolyゲームにおけるマルチエージェントマルチアーム・バンディット(MA-MAB)の設定について検討した。 私たちは、$epsilon$-greedyアプローチが、従来のMABアプローチよりもより実行可能な学習メカニズムを提供することに気付きました。 順序付けられたアクション空間を利用する新しいアプローチとして、$epsilon$-greedy+HLと$epsilon$-greedy+ELを提案する。
  論文  参考訳（メタデータ） (2022-01-01T22:02:47Z)
• Fairness in Ranking under Uncertainty [42.51950847766776]
  不公平は、より有益なエージェントが、より有益なエージェントよりも悪い結果を得るときに起こる。 私たちの中心的なポイントは、不公平の主な原因は不確実性であるということです。 有効性と有効性とを最適にトレードオフするランキングを、プリンシパルにどのように計算するかを示す。
  論文  参考訳（メタデータ） (2021-07-14T14:10:16Z)
• VCG Mechanism Design with Unknown Agent Values under Stochastic Bandit Feedback [104.06766271716774]
  本研究では,エージェントが自己の価値を知らない場合に,マルチラウンドの福祉最大化機構設計問題について検討する。 まず、福祉に対する後悔の3つの概念、各エージェントの個々のユーティリティ、メカニズムの3つの概念を定義します。 当社のフレームワークは価格体系を柔軟に制御し、エージェントと販売者の後悔のトレードオフを可能にする。
  論文  参考訳（メタデータ） (2020-04-19T18:00:58Z)
• Distributed Cooperative Decision Making in Multi-agent Multi-armed Bandits [6.437761597996503]
  複数のエージェントが同じバンディット(MAB)に直面している分散意思決定問題について検討する。 我々は,各アームの平均報酬を協調的に推定するための動的,コンセンサスに基づく分散推定アルゴリズムを設計する。 両アルゴリズムが中心核融合センターの性能に近いグループ性能を達成することを示す。
  論文  参考訳（メタデータ） (2020-03-03T03:20:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。