論文の概要: Enhancing Generative Auto-bidding with Offline Reward Evaluation and Policy Search

• arxiv url: http://arxiv.org/abs/2509.15927v2
• Date: Sat, 27 Sep 2025 11:44:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 17:47:09.236972
• Title: Enhancing Generative Auto-bidding with Offline Reward Evaluation and Policy Search
• Title（参考訳）: オフラインリワード評価とポリシー検索によるジェネレーティブオートバイディングの強化
• Authors: Zhiyu Mou, Yiqin Lv, Miao Xu, Qi Wang, Yixiu Mao, Qichen Ye, Chao Li, Rongquan Bai, Chuan Yu, Jian Xu, Bo Zheng,
• Abstract要約: 自動入札は、広告主が広告パフォーマンスを改善するための重要なツールとなる。 近年の進歩により、AIGB(AI-Generated Bidding)は、通常のオフライン強化学習(RL)ベースの自動入札法と比較して優れた性能を発揮することが示されている。 生成計画とポリシー最適化を統合した新しい手法であるAIGB-Pearlを提案する。
• 参考スコア（独自算出の注目度）: 24.02739832976663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Auto-bidding serves as a critical tool for advertisers to improve their advertising performance. Recent progress has demonstrated that AI-Generated Bidding (AIGB), which learns a conditional generative planner from offline data, achieves superior performance compared to typical offline reinforcement learning (RL)-based auto-bidding methods. However, existing AIGB methods still face a performance bottleneck due to their inherent inability to explore beyond the static offline dataset. To address this, we propose {AIGB-Pearl} (\emph{{P}lanning with {E}valu{A}tor via RL}), a novel method that integrates generative planning and policy optimization. The core of AIGB-Pearl lies in constructing a trajectory evaluator for scoring generation quality and designing a provably sound KL-Lipschitz-constrained score maximization scheme to ensure safe and efficient generalization beyond the offline dataset. A practical algorithm incorporating the synchronous coupling technique is further devised to ensure the model regularity required by the proposed scheme. Extensive experiments on both simulated and real-world advertising systems demonstrate the state-of-the-art performance of our approach.
• Abstract（参考訳）: 自動入札は、広告主が広告パフォーマンスを改善するための重要なツールとなる。 近年の進歩は、条件付き生成プランナをオフラインデータから学習するAIGB(AI-Generated Bidding)が、通常のオフライン強化学習(RL)ベースの自動入札手法と比較して優れた性能を発揮することを示している。 しかし、既存のAIGBメソッドは、静的なオフラインデータセットを超えて探索できないため、パフォーマンス上のボトルネックに直面している。 これを解決するために、生成計画とポリシー最適化を統合する新しい手法である {AIGB-Pearl} (\emph{{P}lanning with {E}valu{A}tor via RL} を提案する。 AIGB-Pearlのコアは、生成品質を評価するための軌道評価器を構築し、オフラインデータセットを超えて安全かつ効率的な一般化を保証するために、証明可能な音質のKL-Lipschitz制約スコア最大化スキームを設計することにある。 さらに, 同期結合手法を取り入れた実用的アルゴリズムを考案し, 提案方式で要求されるモデルの正則性を保証する。 シミュレーションと実世界の広告システムに関する大規模な実験は、我々のアプローチの最先端性能を実証している。

関連論文リスト

• Enhancing Training Data Attribution with Representational Optimization [57.61977909113113]
  トレーニングデータ属性法は、トレーニングデータがモデルの予測にどのように影響するかを測定することを目的としている。 本稿では,タスク固有表現とモデル整合表現をTDAで明示的に学習することで,このギャップを埋める表現ベースアプローチであるAirRepを提案する。 AirRepは、属性品質に合わせて調整されたトレーニング可能なエンコーダと、グループワイドの影響を正確に見積もるアテンションベースのプール機構の2つの重要なイノベーションを紹介している。
  論文  参考訳（メタデータ） (2025-05-24T05:17:53Z)
• Generative Auto-Bidding with Value-Guided Explorations [47.71346722705783]
  本稿では,GAVE(Value-Guided Explorations)を用いた新しいオフライン自動入札フレームワークを提案する。 2つのオフラインデータセットと実世界のデプロイに関する実験結果は、GAVEがオフライン評価とオンラインA/Bテストの両方で最先端のベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2025-04-20T12:28:49Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Goal-Conditioned Data Augmentation for Offline Reinforcement Learning [9.181158786602085]
  Goal-cOnditioned Data Augmentation (GODA) は、ゴール条件付き拡散法である。 GODAは、元のオフラインデータセットの包括的な分布表現を学習し、選択的に高いリターン目標を持つ新しいデータを生成する。 我々は,D4RLベンチマークと実世界の課題,特に交通信号制御(TSC)タスクについて実験を行い,GODAの有効性を実証する。
  論文  参考訳（メタデータ） (2024-12-29T16:42:30Z)
• Self-Steering Optimization: Autonomous Preference Optimization for Large Language Models [79.84205827056907]
  本稿では,高品質な嗜好データを自律的に生成するアルゴリズムであるセルフステアリング最適化(SSO$)を提案する。 $SSO$は、ポリシーモデル自体からデータジェネレータを構築するために、特別な最適化目標を採用しています。 評価の結果,$SSO$は人選好アライメントと報酬最適化のベースラインを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-22T16:04:03Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Learning Goal-Conditioned Policies from Sub-Optimal Offline Data via Metric Learning [22.174803826742963]
  目標条件付きオフライン強化学習における最適データセットからの最適行動学習の問題に対処する。 本稿では,目標条件付きオフラインRL問題に対する最適値関数を近似するための計量学習法を提案する。 本手法は,分布外推定誤差に悩まされることなく,高度に最適化されたオフラインデータセットから最適な挙動を推定する。
  論文  参考訳（メタデータ） (2024-02-16T16:46:53Z)
• Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL [82.93243616342275]
  適応行動優先型オフラインモデルに基づくRL(Adaptive Behavioral Priors:MABE)を導入する。 MABEは、ドメイン内の一般化をサポートする動的モデルと、ドメイン間の一般化をサポートする振る舞いの事前が相補的であることの発見に基づいている。 クロスドメインの一般化を必要とする実験では、MABEが先行手法より優れていることが判明した。
  論文  参考訳（メタデータ） (2021-06-16T20:48:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。