論文の概要: Hierarchical Multi-agent Meta-Reinforcement Learning for Cross-channel Bidding
- arxiv url: http://arxiv.org/abs/2412.19064v1
- Date: Thu, 26 Dec 2024 05:26:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-30 17:26:58.209844
- Title: Hierarchical Multi-agent Meta-Reinforcement Learning for Cross-channel Bidding
- Title（参考訳）: クロスチャネルバイディングのための階層型マルチエージェントメタ強化学習
- Authors: Shenghong He, Chao Yu,
- Abstract要約: リアルタイム入札(RTB)はオンライン広告エコシステムにおいて重要な役割を担っている。
従来の手法では、動的な予算配分問題を効果的に管理することはできない。
マルチチャネル入札最適化のための階層型マルチエージェント強化学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 4.741091524027138
- License:
- Abstract: Real-time bidding (RTB) plays a pivotal role in online advertising ecosystems. Advertisers employ strategic bidding to optimize their advertising impact while adhering to various financial constraints, such as the return-on-investment (ROI) and cost-per-click (CPC). Primarily focusing on bidding with fixed budget constraints, traditional approaches cannot effectively manage the dynamic budget allocation problem where the goal is to achieve global optimization of bidding performance across multiple channels with a shared budget. In this paper, we propose a hierarchical multi-agent reinforcement learning framework for multi-channel bidding optimization. In this framework, the top-level strategy applies a CPC constrained diffusion model to dynamically allocate budgets among the channels according to their distinct features and complex interdependencies, while the bottom-level strategy adopts a state-action decoupled actor-critic method to address the problem of extrapolation errors in offline learning caused by out-of-distribution actions and a context-based meta-channel knowledge learning method to improve the state representation capability of the policy based on the shared knowledge among different channels. Comprehensive experiments conducted on a large scale real-world industrial dataset from the Meituan ad bidding platform demonstrate that our method achieves a state-of-the-art performance.
- Abstract（参考訳）: リアルタイム入札(RTB)はオンライン広告エコシステムにおいて重要な役割を担っている。
広告主は戦略入札を利用して広告効果を最適化し、ROI(Return-on-investment)やクリック単価(Cost-per-CPC)といった様々な金融制約に固執する。
主に、固定予算制約による入札に重点を置いているため、従来の手法では、複数のチャンネルにまたがる入札性能のグローバルな最適化を目標とする動的な予算配分問題を効果的に管理することはできない。
本稿では,マルチチャネル入札最適化のための階層型マルチエージェント強化学習フレームワークを提案する。
本フレームワークでは,CPC制約付き拡散モデルを用いて,各チャネル間の予算を,それぞれの特徴や複雑な相互依存性に応じて動的に配分する一方,下位レベルの戦略では,オフ・オブ・ディストリビューション・アクションによるオフライン学習における外挿誤差の問題に対処するステートアクション分離アクタ批判法と,異なるチャネル間の共有知識に基づくポリシーの状態表現能力の向上のためのコンテキストベースメタチャネル知識学習法を採用する。
Meituan Ad bidding platform による大規模実世界の産業データセットを用いた総合的な実験により,本手法が最先端の性能を実現することを示す。
関連論文リスト
- From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。
エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文 参考訳（メタデータ） (2024-11-06T10:35:11Z) - Prioritizing Risk Factors in Media Entrepreneurship on Social Networks: Hybrid Fuzzy Z-Number Approaches for Strategic Budget Allocation and Risk Management in Advertising Construction Campaigns [0.0]
複雑なオンラインメディアの普及はイデオロギー形成の過程を加速させた。
費用と効果の異なるメディアチャネルは、最適な資金配分を優先するジレンマを提示する。
マーケティングの生産性を高めるためには、すべてのチャネルに予算を分散してビジネス成果を最大化する方法を決定することが重要です。
論文 参考訳（メタデータ） (2024-09-13T05:10:42Z) - Optimizing Search Advertising Strategies: Integrating Reinforcement Learning with Generalized Second-Price Auctions for Enhanced Ad Ranking and Bidding [36.74368014856906]
本稿では,多様なユーザインタラクションに適応し,広告主のコスト,ユーザ関連性,プラットフォーム収益のバランスを最適化するモデルを提案する。
提案手法は,広告の配置精度とコスト効率を大幅に向上させ,実際のシナリオにおけるモデルの適用性を示すものである。
論文 参考訳（メタデータ） (2024-05-22T06:30:55Z) - Towards an Information Theoretic Framework of Context-Based Offline Meta-Reinforcement Learning [48.79569442193824]
我々は,COMRLアルゴリズムが,タスク変数$M$と,その潜在表現$Z$の相互情報目的を,様々な近似境界を実装して最適化していることを示す。
本研究は,COMRL法の情報理論基盤を構築し,強化学習の文脈におけるタスク表現学習の理解を深める。
論文 参考訳（メタデータ） (2024-02-04T09:58:42Z) - HiBid: A Cross-Channel Constrained Bidding System with Budget Allocation by Hierarchical Offline Deep Reinforcement Learning [31.88174870851001]
階層型オフライン深層強化学習(DRL)フレームワーク「HiBid」を提案する。
HiBidは、非競争的な予算配分のための補助的損失を備えた高レベルプランナーで構成されている。
チャネル間CPC制約を満たすためにCPC誘導動作選択機構を導入する。
論文 参考訳（メタデータ） (2023-12-29T07:52:46Z) - Quantifying Agent Interaction in Multi-agent Reinforcement Learning for
Cost-efficient Generalization [63.554226552130054]
マルチエージェント強化学習(MARL)における一般化の課題
エージェントが未確認のコプレイヤーに影響される程度は、エージェントのポリシーと特定のシナリオに依存する。
与えられたシナリオと環境におけるエージェント間の相互作用強度を定量化する指標であるLoI(Level of Influence)を提示する。
論文 参考訳（メタデータ） (2023-10-11T06:09:26Z) - ROI Constrained Bidding via Curriculum-Guided Bayesian Reinforcement
Learning [34.82004227655201]
非定常市場におけるROI制約入札を専門とする。
部分観測可能な制約付きマルコフ決定プロセスに基づいて,非単調な制約を満たすための最初のハードバリアソリューションを提案する。
本手法は,パラメータフリーなインジケータ強化報酬関数を利用して,カリキュラムガイドベイズ強化学習フレームワークを開発する。
論文 参考訳（メタデータ） (2022-06-10T17:30:12Z) - A Cooperative-Competitive Multi-Agent Framework for Auto-bidding in
Online Advertising [53.636153252400945]
本稿では,自動入札のための総合的マルチエージェント強化学習フレームワーク,すなわちMAABを提案し,自動入札戦略を学習する。
当社のアプローチは、社会的福祉の観点から、いくつかの基準的手法を上回り、広告プラットフォームの収益を保証します。
論文 参考訳（メタデータ） (2021-06-11T08:07:14Z) - Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。
また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文 参考訳（メタデータ） (2020-12-01T11:46:03Z) - Optimal Bidding Strategy without Exploration in Real-time Bidding [14.035270361462576]
予算制約によるユーティリティの最大化は、リアルタイム入札(RTB)システムにおける広告主の主要な目標である。
それまでの作品は、検閲された国家の困難を和らげるために競売に敗れたことを無視していた。
本稿では,リアルタイムトラフィックで観測される真の分布の挙動を模倣するために,最大エントロピー原理を用いた新しい実用的枠組みを提案する。
論文 参考訳（メタデータ） (2020-03-31T20:43:28Z) - MoTiAC: Multi-Objective Actor-Critics for Real-Time Bidding [47.555870679348416]
そこで本研究では,MoTiACというマルチエクティブ・アクタ・クリティカルスアルゴリズムを提案する。
従来のRLモデルとは異なり、提案されたMoTiACは複雑な入札環境で同時に多目的タスクを達成できる。
論文 参考訳（メタデータ） (2020-02-18T07:16:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。