論文の概要: Generative Auto-Bidding with Value-Guided Explorations

• arxiv url: http://arxiv.org/abs/2504.14587v2
• Date: Fri, 25 Apr 2025 15:04:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:52.706747
• Title: Generative Auto-Bidding with Value-Guided Explorations
• Title（参考訳）: 価値誘導探索によるジェネレーティブオートバイディング
• Authors: Jingtong Gao, Yewen Li, Shuai Mao, Peng Jiang, Nan Jiang, Yejing Wang, Qingpeng Cai, Fei Pan, Peng Jiang, Kun Gai, Bo An, Xiangyu Zhao,
• Abstract要約: 本稿では,GAVE(Value-Guided Explorations)を用いた新しいオフライン自動入札フレームワークを提案する。 2つのオフラインデータセットと実世界のデプロイに関する実験結果は、GAVEがオフライン評価とオンラインA/Bテストの両方で最先端のベースラインを上回っていることを示している。
• 参考スコア（独自算出の注目度）: 47.71346722705783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Auto-bidding, with its strong capability to optimize bidding decisions within dynamic and competitive online environments, has become a pivotal strategy for advertising platforms. Existing approaches typically employ rule-based strategies or Reinforcement Learning (RL) techniques. However, rule-based strategies lack the flexibility to adapt to time-varying market conditions, and RL-based methods struggle to capture essential historical dependencies and observations within Markov Decision Process (MDP) frameworks. Furthermore, these approaches often face challenges in ensuring strategy adaptability across diverse advertising objectives. Additionally, as offline training methods are increasingly adopted to facilitate the deployment and maintenance of stable online strategies, the issues of documented behavioral patterns and behavioral collapse resulting from training on fixed offline datasets become increasingly significant. To address these limitations, this paper introduces a novel offline Generative Auto-bidding framework with Value-Guided Explorations (GAVE). GAVE accommodates various advertising objectives through a score-based Return-To-Go (RTG) module. Moreover, GAVE integrates an action exploration mechanism with an RTG-based evaluation method to explore novel actions while ensuring stability-preserving updates. A learnable value function is also designed to guide the direction of action exploration and mitigate Out-of-Distribution (OOD) problems. Experimental results on two offline datasets and real-world deployments demonstrate that GAVE outperforms state-of-the-art baselines in both offline evaluations and online A/B tests. By applying the core methods of this framework, we proudly secured first place in the NeurIPS 2024 competition, 'AIGB Track: Learning Auto-Bidding Agents with Generative Models'.
• Abstract（参考訳）: 動的かつ競争的なオンライン環境における入札決定を最適化する強力な能力を持つ自動入札は、広告プラットフォームにとって重要な戦略となっている。 既存のアプローチではルールベースの戦略や強化学習(RL)技術が一般的である。 しかし、ルールベースの戦略は、時間的に変化する市場条件に適応する柔軟性に欠けており、RLベースの手法はマルコフ決定プロセス(MDP)フレームワークにおける重要な歴史的依存関係や観察を捉えるのに苦労している。 さらに、これらのアプローチは、様々な広告目的にまたがる戦略適応性を確保する上で、しばしば課題に直面します。 さらに、安定したオンライン戦略の展開とメンテナンスを容易にするために、オフライントレーニングメソッドがますます採用されているため、ドキュメント化された行動パターンと、固定されたオフラインデータセットのトレーニングに起因する行動崩壊の問題がますます重要になっている。 このような制約に対処するため,本稿では,GAVE(Value-Guided Explorations)を用いた新しいオフライン自動入札フレームワークを提案する。 GAVEはスコアベースのReturn-To-Go (RTG)モジュールを通じて様々な広告目的に対応する。 さらに, GAVEは, 動作探索機構とRTGに基づく評価手法を統合し, 安定性を保ちつつ, 新たな動作を探索する。 学習可能な値関数は、行動探索の方向を案内し、アウト・オブ・ディストリビューション(OOD)問題を緩和するように設計されている。 2つのオフラインデータセットと実世界のデプロイに関する実験結果は、GAVEがオフライン評価とオンラインA/Bテストの両方で最先端のベースラインを上回っていることを示している。 このフレームワークのコアメソッドを適用することで、我々は、NeurIPS 2024コンペ「AIGB Track: Learning Auto-Bidding Agents with Generative Models」で、誇らしげに第1位を獲得しました。

関連論文リスト

• EPO: Explicit Policy Optimization for Strategic Reasoning in LLMs via Reinforcement Learning [69.55982246413046]
  戦略的推論のための明示的なポリシー最適化(EPO)を提案する。 EPOはオープンなアクション空間で戦略を提供し、任意のLLMエージェントにプラグインすることで、ゴール指向の振る舞いを動機付けることができる。 社会的および物理的領域にわたる実験は、EPOの長期的なゴールアライメント能力を示す。
  論文  参考訳（メタデータ） (2025-02-18T03:15:55Z)
• Trajectory-wise Iterative Reinforcement Learning Framework for Auto-bidding [16.556934508295456]
  オンライン広告では、広告主は広告機会を得るために広告オークションに参加し、しばしば需要側プラットフォーム(DSP)が提供する自動入札ツールを利用する。 安全上の懸念から、ほとんどのRLベースの自動入札ポリシーはシミュレーションでトレーニングされており、オンライン環境にデプロイするとパフォーマンスが低下する。 本稿では,反復的オフラインRLのための新しいデータ収集・データ利用手法であるTrajectory-wise Exploration and Exploitation (TEE)を提案する。
  論文  参考訳（メタデータ） (2024-02-23T05:20:23Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• A Simple Unified Uncertainty-Guided Framework for Offline-to-Online Reinforcement Learning [25.123237633748193]
  オフラインからオンラインへの強化学習は、制約された探索行動と状態-行動分布シフトのために困難である。 両課題の解決を不確実性ツールで統一する,シンプルな統一uNcertainty-Guided (SUNG) フレームワークを提案する。 SUNGは、さまざまなオフラインRLメソッドと組み合わせることで、最先端のオンラインファインタニング性能を実現する。
  論文  参考訳（メタデータ） (2023-06-13T05:22:26Z)
• Making Offline RL Online: Collaborative World Models for Offline Visual Reinforcement Learning [93.99377042564919]
  本稿では,潜在的利点の探索を妨げることなく,より柔軟な値推定制約を構築することを試みる。 鍵となるアイデアは、オフラインポリシの"テストベッド"として、オンライン形式で簡単に操作可能な、市販のRLシミュレータを活用することだ。 我々は、状態と報酬空間におけるドメイン間の差異を軽減するモデルベースのRLアプローチであるCoWorldを紹介する。
  論文  参考訳（メタデータ） (2023-05-24T15:45:35Z)
• Offline Reinforcement Learning with Adaptive Behavior Regularization [1.491109220586182]
  オフライン強化学習(RL)は、静的で以前に収集されたデータセットからポリシーを学習する、サンプル効率のよい学習パラダイムを定義する。 適応行動正規化(Adaptive Behavior regularization, ABR)と呼ばれる新しい手法を提案する。 ABRは、データセットの生成に使用するポリシーのクローン化と改善の間に、ポリシーの最適化目標を適応的に調整することを可能にする。
  論文  参考訳（メタデータ） (2022-11-15T15:59:11Z)
• Towards Online Domain Adaptive Object Detection [79.89082006155135]
  既存のオブジェクト検出モデルは、トレーニングデータとテストデータの両方が同じソースドメインからサンプリングされていると仮定します。 オンライン設定における対象領域の一般化を適応・改善する新しい統合適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-11T17:47:22Z)
• Model-Based Offline Meta-Reinforcement Learning with Regularization [63.35040401948943]
  オフラインのMeta-RLは、これらの課題に対処するための有望なアプローチとして現れています。 MerPOは、効率的なタスク構造推論と情報的メタ政治のためのメタモデルを学ぶ。 我々は,MerPOが行動政策とメタ政治の両方に対して,保証された改善を提供することを示す。
  論文  参考訳（メタデータ） (2022-02-07T04:15:20Z)
• UMBRELLA: Uncertainty-Aware Model-Based Offline Reinforcement Learning Leveraging Planning [1.1339580074756188]
  オフライン強化学習(RL)は、オフラインデータから意思決定を学ぶためのフレームワークを提供する。 自動運転車(SDV)は、おそらく準最適データセットの振る舞いよりも優れるポリシーを学ぶ。 これはモデルベースのオフラインRLアプローチの使用を動機付け、プランニングを活用する。
  論文  参考訳（メタデータ） (2021-11-22T10:37:52Z)
• Offline Meta-Reinforcement Learning with Online Self-Supervision [66.42016534065276]
  適応ポリシをメタトレーニングするための報酬付きオフラインデータを用いたハイブリッドオフラインメタRLアルゴリズムを提案する。 提案手法では,オフラインデータを用いて報酬関数の分布を学習し,さらにオンラインデータに対する自己監督型報酬ラベルにサンプリングする。 追加データと自己生成報酬を用いることで、エージェントの一般化能力が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2021-07-08T17:01:32Z)
• COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
  ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。 我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。 従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
  論文  参考訳（メタデータ） (2021-02-16T18:50:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。