論文の概要: Understanding Iterative Combinatorial Auction Designs via Multi-Agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2402.19420v2
- Date: Tue, 23 Jul 2024 19:15:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-25 19:10:54.904783
- Title: Understanding Iterative Combinatorial Auction Designs via Multi-Agent Reinforcement Learning
- Title（参考訳）: マルチエージェント強化学習による反復的コンビネーションオークションデザインの理解
- Authors: Greg d'Eon, Neil Newman, Kevin Leyton-Brown,
- Abstract要約: 我々は,反復オークションを理解するためにマルチエージェント強化学習アルゴリズムを利用できるか検討する。
MARLは本当にオークション分析の恩恵を受けることができるが、効果的にデプロイすることは簡単ではない。
クロックオークションにおける特定のルール変更を評価するために,提案手法を用いた提案手法の有効性について述べる。
- 参考スコア（独自算出の注目度）: 10.41350502488723
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Iterative combinatorial auctions are widely used in high stakes settings such as spectrum auctions. Such auctions can be hard to analyze, making it difficult for bidders to determine how to behave and for designers to optimize auction rules to ensure desirable outcomes such as high revenue or welfare. In this paper, we investigate whether multi-agent reinforcement learning (MARL) algorithms can be used to understand iterative combinatorial auctions, given that these algorithms have recently shown empirical success in several other domains. We find that MARL can indeed benefit auction analysis, but that deploying it effectively is nontrivial. We begin by describing modelling decisions that keep the resulting game tractable without sacrificing important features such as imperfect information or asymmetry between bidders. We also discuss how to navigate pitfalls of various MARL algorithms, how to overcome challenges in verifying convergence, and how to generate and interpret multiple equilibria. We illustrate the promise of our resulting approach by using it to evaluate a specific rule change to a clock auction, finding substantially different auction outcomes due to complex changes in bidders' behavior.
- Abstract（参考訳）: 反復組合せオークションはスペクトルオークションのような高利得設定で広く使用されている。
このようなオークションは分析が難しいため、入札者がどのように振る舞うかを判断し、デザイナーがオークションルールを最適化し、高い収入や福祉などの望ましい結果を確保することは困難である。
本稿では,MARL(Multi-agent reinforcement learning)アルゴリズムが反復的組合せオークションの理解に有効かどうかを検討する。
MARLは本当にオークション分析の恩恵を受けることができるが、効果的にデプロイすることは簡単ではない。
まず、不完全な情報や入札者間の非対称性といった重要な特徴を犠牲にすることなく、結果が引き起こされるような決定をモデル化することから始める。
また、様々なMARLアルゴリズムの落とし穴をナビゲートする方法、収束検証の課題を克服する方法、多重平衡の生成と解釈方法についても論じる。
提案手法は, 入札者の行動が複雑に変化することにより, 特定のルール変更を時計オークションで評価し, オークションの結果を著しく異なるものにすることによる, 提案手法の可能性を示唆する。
関連論文リスト
- Approximating Auction Equilibria with Reinforcement Learning [0.0]
本稿では,ベイズ・ナッシュ均衡を近似する高度なアルゴリズムを用いた自己学習型強化学習手法を提案する。
自己プレイを通じて、これらのアルゴリズムは、既知の平衡を持つオークションにおいて、堅牢でほぼ最適な入札戦略を学習することができる。
論文 参考訳（メタデータ） (2024-10-17T18:34:57Z) - Deep Reinforcement Learning for Sequential Combinatorial Auctions [40.89021064082742]
収益-最適オークションデザインは、重要な理論的および実践的な意味を持つ難しい問題である。
本稿では,一階勾配を利用した逐次オークションに適した新しい強化学習フレームワークを提案する。
提案手法は,分析ベースラインと標準強化学習アルゴリズムの両方に対して,収益の大幅な向上を実現する。
論文 参考訳（メタデータ） (2024-07-10T20:00:22Z) - Learning in Repeated Multi-Unit Pay-As-Bid Auctions [3.6294895527930504]
複数単位のペイ・アズ・バイドオークションの入札方法を学ぶことの問題点を考察する。
バイド・バイド・オークションの入札方法を学ぶという問題は、アクション・スペースの性質によって困難である。
時間動的計画法を用いて,オフライン問題に対する最適解が得られることを示す。
論文 参考訳（メタデータ） (2023-07-27T20:49:28Z) - Autobidders with Budget and ROI Constraints: Efficiency, Regret, and Pacing Dynamics [53.62091043347035]
オンライン広告プラットフォームで競合するオートバイディングアルゴリズムのゲームについて検討する。
本稿では,全ての制約を満たすことを保証し,個人の後悔を解消する勾配に基づく学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-01-30T21:59:30Z) - A Context-Integrated Transformer-Based Neural Network for Auction Design [25.763612577196124]
オークションデザインにおける中心的な問題の1つは、競売人の予想収益を最大化するインセンティブに適合するメカニズムを開発することである。
最適なオークション設計のためのコンテクスト積分変換器ベースニューラルネットワークである$mathtCITransNet$を提案する。
我々は、$mathttCITransNet$が、シングルイット設定で既知の最適解を回復し、マルチイットオークションで強いベースラインを上回り、トレーニング中以外のケースによく当てはまることを示す。
論文 参考訳（メタデータ） (2022-01-29T03:47:00Z) - MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven
Reinforcement Learning [65.52675802289775]
本研究では,不確かさを意識した分類器が,強化学習の難しさを解消できることを示す。
正規化最大度(NML)分布の計算法を提案する。
得られたアルゴリズムは、カウントベースの探索法と、報酬関数を学習するための先行アルゴリズムの両方に多くの興味深い関係を持つことを示す。
論文 参考訳（メタデータ） (2021-07-15T08:19:57Z) - Learning Revenue-Maximizing Auctions With Differentiable Matching [50.62088223117716]
サンプル評価から,インセンティブに適合し,収益を最大化するオークションを大まかに学習する新しいアーキテクチャを提案する。
我々のアーキテクチャはシンクホーンアルゴリズムを用いて、ネットワークが防御的な収益最大化メカニズムを学習できるように、差別化可能な二部マッチングを実行する。
論文 参考訳（メタデータ） (2021-06-15T04:37:57Z) - Neural Auction: End-to-End Learning of Auction Mechanisms for E-Commerce
Advertising [42.7415188090209]
我々は,オークションからコンテキストを効率的に抽出する深層モデルを開発し,オークションデザインのための豊富な特徴を提供する。
タオバオのEコマース広告システムにDNAが配備されている。
論文 参考訳（メタデータ） (2021-06-07T13:20:40Z) - Softmax with Regularization: Better Value Estimation in Multi-Agent
Reinforcement Learning [72.28520951105207]
q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。
ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。
本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
論文 参考訳（メタデータ） (2021-03-22T14:18:39Z) - ProportionNet: Balancing Fairness and Revenue for Auction Design with
Deep Learning [55.76903822619047]
本研究では,強力なインセンティブ保証を備えた収益最大化オークションの設計について検討する。
我々は、高い収益と強力なインセンティブ保証を維持しつつ、公平性の懸念に対処するため、深層学習を用いてオークションを近似する手法を拡張した。
論文 参考訳（メタデータ） (2020-10-13T13:54:21Z) - Learning to Infer User Hidden States for Online Sequential Advertising [52.169666997331724]
本稿では,これらの問題に対処するディープインテントシーケンス広告(DISA)手法を提案する。
解釈可能性の鍵となる部分は、消費者の購入意図を理解することである。
論文 参考訳（メタデータ） (2020-09-03T05:12:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。