論文の概要: Reinforcement Learning for Controller Parameters in the Auto-Bidding System at Pinterest

• arxiv url: http://arxiv.org/abs/2610.33248v1
• Date: Fri, 23 Oct 2026 19:52:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.282068
• Title: Reinforcement Learning for Controller Parameters in the Auto-Bidding System at Pinterest
• Title（参考訳）: Pinterestにおける自動入札システムにおける制御パラメータの強化学習
• Abstract要約: RLBP(Reinforcement Learning for Bidding Parameters)は、RLをメタコントローラとして使用し、キャンペーン固有のPIDパラメータを毎日選択するハイブリッドアーキテクチャである。 RLBPは、収益劣化を伴わずに、クリック当たりの効果的なコスト削減を統計的に有意に達成する。 これらの結果から, メタコントローラRLは大規模生産制御システムの構築に成功できることが示唆された。
• 参考スコア（独自算出の注目度）: 9.323519736499575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Auto-bidding systems in online advertising must balance competing objectives-maximizing budget delivery while minimizing cost per action-across heterogeneous campaigns under non-stationary market conditions. This trade-off evolves over campaign lifespans: early on, cost optimization dominates when budgets roll over; near deadlines, budget delivery becomes urgent. While PID controllers are widely used in production for their stability and interpretability, fixed tunings cannot adapt to diverse campaigns and shifting traffic patterns. We present RLBP (Reinforcement Learning for Bidding Parameters), a hybrid architecture deployed at Pinterest that uses RL as a meta-controller to select campaign-specific PID parameters daily while retaining PID for high-frequency bid adjustments. RLBP trains a multi-head Q-network using a relative-lift reward formulation normalized against the production baseline, and performs inference-time fusion that adapts the cost-delivery trade-off to campaign states without retraining. Through online A/B testing at Pinterest, RLBP achieves a statistically significant reduction in effective cost-per-click (eCPC) with no revenue degradation, and two months of post-rollout measurements against a holdout also show consistent cost reductions. These results demonstrate that meta-controller RL can successfully augment production control systems at scale.
• Abstract（参考訳）: オンライン広告における自動入札システムは、予算提供の最大化と、非定常市場条件下での不均一なキャンペーンあたりのコストの最小化と、競合する目標のバランスをとる必要がある。 このトレードオフは、キャンペーンの寿命を超えて進化し、早期にコスト最適化が予算のロールオーバー時に支配され、納期近くで予算の納付が急務になる。 PIDコントローラは、安定性と解釈可能性のために多用されているが、固定チューニングは多様なキャンペーンやトラフィックパターンに適応できない。 RLBP(Reinforcement Learning for Bidding Parameters)は、Pinterestで展開されているハイブリッドアーキテクチャであり、RLをメタコントローラとして使用し、高周波入札調整のためのPIDを維持しながら、キャンペーン固有のPIDパラメータを毎日選択する。 RLBPは、生産ベースラインに対して正規化された相対リフト報酬の定式化を用いてマルチヘッドQ-ネットワークを訓練し、コスト配信トレードオフを再訓練せずにキャンペーンステートに適応させる推論時間融合を行う。 PinterestのオンラインA/Bテストを通じて、RLBPは、収益劣化のない効率的なコスト・パー・クリック(eCPC)の統計的に顕著な削減を実現し、ホールドアウトに対する2ヶ月のロールアウト後の測定でも、一貫したコスト削減を示している。 これらの結果から, メタコントローラRLは大規模生産制御システムの構築に成功できることが示唆された。

関連論文リスト

• HOBA: Hierarchical On-Policy Bidding Agents for Adaptive Online Advertising [4.325040293861279]
  HOBAは、戦略的推論、モデル選択、入札実行を3つのタイムスケールで分離する階層的な強化学習フレームワークである。 AuctionNetベンチマークと大規模A/Bテストの実験は、最先端のベースラインよりも一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-06-17T15:00:34Z)
• EfficientRollout: System-Aware Self-Speculative Decoding for RL Rollouts [20.460789503141466]
  本稿では、RLロールアウトにおけるこのギャップに対処するために設計されたシステム対応セルフSDフレームワークであるEfficientRolloutを紹介する。 EfficientRolloutは、ARロールアウトベースラインを高速化することで、ロールアウトとエンドツーエンドのレイテンシをそれぞれ19.6%、12.7%削減する。
  論文  参考訳（メタデータ） (2026-06-17T11:51:06Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• Jackpot: Optimal Budgeted Rejection Sampling for Extreme Actor-Policy Mismatch Reinforcement Learning [31.843129392507716]
  Jackpotは、ポリシーとロールアウトモデルを共同で更新する統合トレーニング目標を統合するフレームワークである。 我々の理論的分析は、OBRSが制御可能な受理予算の下で、目標分布に近いロールアウト分布を一貫して移動していることを示している。
  論文  参考訳（メタデータ） (2026-02-05T18:57:01Z)
• Feedback Control for Small Budget Pacing [0.0]
  予算削減はオンライン広告において、ダイナミックオークションのキャンペーン目標に費用を合わせるために重要である。 本研究では,バケット化と比例フィードバックを組み合わせることで,安定かつ適応的な消費制御を実現する原理的制御器を提案する。
  論文  参考訳（メタデータ） (2025-09-29T19:38:34Z)
• Dynamic Speculative Agent Planning [57.630218933994534]
  大規模な言語モデルベースのエージェントは、遅延の禁止と推論コストのために、重要なデプロイメント課題に直面している。 本稿では,オンライン強化学習フレームワークである動的投機計画(Dynamic Speculative Planning, DSP)を紹介する。 2つの標準エージェントベンチマークの実験では、DSPは高速加速法に匹敵する効率を達成し、総コストを30%削減し、不要コストを60%まで削減している。
  論文  参考訳（メタデータ） (2025-09-02T03:34:36Z)
• Guaranteed Dynamic Scheduling of Ultra-Reliable Low-Latency Traffic via Conformal Prediction [72.59079526765487]
  アップリンクにおける超信頼性・低遅延トラフィック(URLLC)の動的スケジューリングは、既存のサービスの効率を大幅に向上させることができる。 主な課題は、URLLCパケット生成のプロセスにおける不確実性である。 本稿では,URLLC トラフィック予測器の品質に関わらず,信頼性と遅延を保証した新しい URLLC パケットスケジューラを提案する。
  論文  参考訳（メタデータ） (2023-02-15T14:09:55Z)
• BCRLSP: An Offline Reinforcement Learning Framework for Sequential Targeted Promotion [8.499811428928071]
  本稿では,利用者に送付される現金ボーナスの価値を決定するために,予算制約付き逐次促進学習フレームワークを提案する。 BCRLSPは, 長期顧客維持率が高く, 各種ベースラインよりも低コストであることを示す。
  論文  参考訳（メタデータ） (2022-07-16T00:10:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。