Fugu-MT 論文翻訳(概要): Hierarchical Multi-agent Meta-Reinforcement Learning for Cross-channel Bidding

論文の概要: Hierarchical Multi-agent Meta-Reinforcement Learning for Cross-channel Bidding

arxiv url: http://arxiv.org/abs/2412.19064v1
Date: Thu, 26 Dec 2024 05:26:30 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-30 21:44:05.06397
Title: Hierarchical Multi-agent Meta-Reinforcement Learning for Cross-channel Bidding
Title（参考訳）: クロスチャネルバイディングのための階層型マルチエージェントメタ強化学習
Authors: Shenghong He, Chao Yu,
Abstract要約: リアルタイム入札(RTB)はオンライン広告エコシステムにおいて重要な役割を担っている。従来の手法では、動的な予算配分問題を効果的に管理することはできない。マルチチャネル入札最適化のための階層型マルチエージェント強化学習フレームワークを提案する。
参考スコア（独自算出の注目度）: 4.741091524027138
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Real-time bidding (RTB) plays a pivotal role in online advertising ecosystems. Advertisers employ strategic bidding to optimize their advertising impact while adhering to various financial constraints, such as the return-on-investment (ROI) and cost-per-click (CPC). Primarily focusing on bidding with fixed budget constraints, traditional approaches cannot effectively manage the dynamic budget allocation problem where the goal is to achieve global optimization of bidding performance across multiple channels with a shared budget. In this paper, we propose a hierarchical multi-agent reinforcement learning framework for multi-channel bidding optimization. In this framework, the top-level strategy applies a CPC constrained diffusion model to dynamically allocate budgets among the channels according to their distinct features and complex interdependencies, while the bottom-level strategy adopts a state-action decoupled actor-critic method to address the problem of extrapolation errors in offline learning caused by out-of-distribution actions and a context-based meta-channel knowledge learning method to improve the state representation capability of the policy based on the shared knowledge among different channels. Comprehensive experiments conducted on a large scale real-world industrial dataset from the Meituan ad bidding platform demonstrate that our method achieves a state-of-the-art performance.
Abstract（参考訳）: リアルタイム入札(RTB)はオンライン広告エコシステムにおいて重要な役割を担っている。広告主は戦略入札を利用して広告効果を最適化し、ROI(Return-on-investment)やクリック単価(Cost-per-CPC)といった様々な金融制約に固執する。主に、固定予算制約による入札に重点を置いているため、従来の手法では、複数のチャンネルにまたがる入札性能のグローバルな最適化を目標とする動的な予算配分問題を効果的に管理することはできない。本稿では,マルチチャネル入札最適化のための階層型マルチエージェント強化学習フレームワークを提案する。本フレームワークでは,CPC制約付き拡散モデルを用いて,各チャネル間の予算を,それぞれの特徴や複雑な相互依存性に応じて動的に配分する一方,下位レベルの戦略では,オフ・オブ・ディストリビューション・アクションによるオフライン学習における外挿誤差の問題に対処するステートアクション分離アクタ批判法と,異なるチャネル間の共有知識に基づくポリシーの状態表現能力の向上のためのコンテキストベースメタチャネル知識学習法を採用する。 Meituan Ad bidding platform による大規模実世界の産業データセットを用いた総合的な実験により,本手法が最先端の性能を実現することを示す。

関連論文リスト

Large Language Models as Bidding Agents in Repeated HetNet Auction [4.305340565419997]
本稿では,ヘテロジニアスネットワーク(HetNets)内での繰り返しスペクトルオークションにおける推論エージェントとしての大規模言語モデル(LLMs)の統合について検討する。本稿では,各基地局(BS)が独立して独自のマルチチャネルオークションを行う分散オークションベースのフレームワークを提案し,ユーザ機器(UE)がそれらの関連と入札値の両方を戦略的に決定する。シミュレーションの結果,LCMを内蔵したUEは,ベンチマークよりもチャネルアクセス周波数が一貫して向上し,予算効率が向上することがわかった。
論文参考訳（メタデータ） (2026-03-02T07:30:01Z)
AHBid: An Adaptable Hierarchical Bidding Framework for Cross-Channel Advertising [8.53485049764747]
AHBidは、生成計画とリアルタイム制御を統合するAdaptable Hierarchical Biddingフレームワークである。大規模なオフラインデータセットとオンラインA/Bテストによる実験は、AHBidの有効性を実証している。
論文参考訳（メタデータ） (2026-02-26T06:07:28Z)
A Unified Multi-Task Learning Framework for Generative Auto-Bidding with Validation-Aligned Optimization [51.27959658504722]
マルチタスク学習は、これらのタスクを共有表現を通じて共同でトレーニングするための、原則化されたフレームワークを提供する。既存のマルチタスク最適化戦略は、主にトレーニングダイナミクスによって導かれ、不安定な入札環境ではよく一般化される。本稿では,タスク毎のトレーニング勾配と保留有効度勾配のアライメントに基づいてタスク重みを適応的に割り当てる,バリデーション適応型マルチタスク最適化(VAMO)を提案する。
論文参考訳（メタデータ） (2025-10-09T03:59:51Z)
Reinforced Strategy Optimization for Conversational Recommender Systems via Network-of-Experts [63.412646471177645]
会話レコメンダシステム(CRS)のための新しい強化戦略最適化(RSO)手法を提案する。 RSOは、戦略駆動型応答決定をマクロレベルの戦略計画とマイクロレベルの戦略適応に分解する。実験の結果, RSOは最先端のベースラインと比較して, インタラクション性能を著しく向上することがわかった。
論文参考訳（メタデータ） (2025-09-30T11:12:01Z)
Multi-task Offline Reinforcement Learning for Online Advertising in Recommender Systems [54.709976343045824]
現在のオフライン強化学習(RL)手法は、スパース広告シナリオに適用した場合、重大な課題に直面している。 MTORLは,2つの主要な目標を対象とする,新しいマルチタスクオフラインRLモデルである。我々はマルチタスク学習を用いて行動と報酬をデコードし、同時にチャネルレコメンデーションと予算配分に対処する。
論文参考訳（メタデータ） (2025-06-29T05:05:13Z)
Generative Auto-Bidding with Value-Guided Explorations [47.71346722705783]
本稿では,GAVE(Value-Guided Explorations)を用いた新しいオフライン自動入札フレームワークを提案する。 2つのオフラインデータセットと実世界のデプロイに関する実験結果は、GAVEがオフライン評価とオンラインA/Bテストの両方で最先端のベースラインを上回っていることを示している。
論文参考訳（メタデータ） (2025-04-20T12:28:49Z)
Adaptive Budget Optimization for Multichannel Advertising Using Combinatorial Bandits [9.197038204851458]
本稿では,デジタル広告における予算配分分野への3つの重要な貢献を紹介する。まず,時間軸を延ばすマルチチャネル広告キャンペーンを模倣するシミュレーション環境を開発する。第2に,飽和平均関数と目標探索機構を利用して変化点検出を行う帯域幅予算配分戦略を提案する。
論文参考訳（メタデータ） (2025-02-05T06:29:52Z)
Prioritizing Risk Factors in Media Entrepreneurship on Social Networks: Hybrid Fuzzy Z-Number Approaches for Strategic Budget Allocation and Risk Management in Advertising Construction Campaigns [0.0]
複雑なオンラインメディアの普及はイデオロギー形成の過程を加速させた。費用と効果の異なるメディアチャネルは、最適な資金配分を優先するジレンマを提示する。マーケティングの生産性を高めるためには、すべてのチャネルに予算を分散してビジネス成果を最大化する方法を決定することが重要です。
論文参考訳（メタデータ） (2024-09-13T05:10:42Z)
Optimizing Search Advertising Strategies: Integrating Reinforcement Learning with Generalized Second-Price Auctions for Enhanced Ad Ranking and Bidding [36.74368014856906]
本稿では,多様なユーザインタラクションに適応し,広告主のコスト,ユーザ関連性,プラットフォーム収益のバランスを最適化するモデルを提案する。提案手法は,広告の配置精度とコスト効率を大幅に向上させ,実際のシナリオにおけるモデルの適用性を示すものである。
論文参考訳（メタデータ） (2024-05-22T06:30:55Z)
Towards an Information Theoretic Framework of Context-Based Offline Meta-Reinforcement Learning [48.79569442193824]
我々は,COMRLアルゴリズムが,タスク変数$M$と,その潜在表現$Z$の相互情報目的を,様々な近似境界を実装して最適化していることを示す。本研究は,COMRL法の情報理論基盤を構築し,強化学習の文脈におけるタスク表現学習の理解を深める。
論文参考訳（メタデータ） (2024-02-04T09:58:42Z)
HiBid: A Cross-Channel Constrained Bidding System with Budget Allocation by Hierarchical Offline Deep Reinforcement Learning [31.88174870851001]
階層型オフライン深層強化学習(DRL)フレームワーク「HiBid」を提案する。 HiBidは、非競争的な予算配分のための補助的損失を備えた高レベルプランナーで構成されている。チャネル間CPC制約を満たすためにCPC誘導動作選択機構を導入する。
論文参考訳（メタデータ） (2023-12-29T07:52:46Z)
Quantifying Agent Interaction in Multi-agent Reinforcement Learning for Cost-efficient Generalization [63.554226552130054]
マルチエージェント強化学習(MARL)における一般化の課題エージェントが未確認のコプレイヤーに影響される程度は、エージェントのポリシーと特定のシナリオに依存する。与えられたシナリオと環境におけるエージェント間の相互作用強度を定量化する指標であるLoI(Level of Influence)を提示する。
論文参考訳（メタデータ） (2023-10-11T06:09:26Z)
Networked Communication for Decentralised Agents in Mean-Field Games [59.01527054553122]
平均フィールドゲームフレームワークにネットワーク通信を導入する。当社のアーキテクチャは、中央集権型と独立した学習ケースの双方で保証されていることを証明しています。
論文参考訳（メタデータ） (2023-06-05T10:45:39Z)
VFed-SSD: Towards Practical Vertical Federated Advertising [53.08038962443853]
本稿では,2つの制限を緩和する半教師付き分割蒸留フレームワーク VFed-SSD を提案する。具体的には,垂直分割された未ラベルデータを利用する自己教師型タスクMatchedPair Detection (MPD) を開発する。当社のフレームワークは,デプロイコストの最小化と大幅なパフォーマンス向上を図った,リアルタイム表示広告のための効率的なフェデレーション強化ソリューションを提供する。
論文参考訳（メタデータ） (2022-05-31T17:45:30Z)
A Cooperative-Competitive Multi-Agent Framework for Auto-bidding in Online Advertising [53.636153252400945]
本稿では,自動入札のための総合的マルチエージェント強化学習フレームワーク,すなわちMAABを提案し,自動入札戦略を学習する。当社のアプローチは、社会的福祉の観点から、いくつかの基準的手法を上回り、広告プラットフォームの収益を保証します。
論文参考訳（メタデータ） (2021-06-11T08:07:14Z)
Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文参考訳（メタデータ） (2020-12-01T11:46:03Z)
Optimal Bidding Strategy without Exploration in Real-time Bidding [14.035270361462576]
予算制約によるユーティリティの最大化は、リアルタイム入札(RTB)システムにおける広告主の主要な目標である。それまでの作品は、検閲された国家の困難を和らげるために競売に敗れたことを無視していた。本稿では,リアルタイムトラフィックで観測される真の分布の挙動を模倣するために,最大エントロピー原理を用いた新しい実用的枠組みを提案する。
論文参考訳（メタデータ） (2020-03-31T20:43:28Z)
MoTiAC: Multi-Objective Actor-Critics for Real-Time Bidding [47.555870679348416]
そこで本研究では,MoTiACというマルチエクティブ・アクタ・クリティカルスアルゴリズムを提案する。従来のRLモデルとは異なり、提案されたMoTiACは複雑な入札環境で同時に多目的タスクを達成できる。
論文参考訳（メタデータ） (2020-02-18T07:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。