論文の概要: GAS: Generative Auto-bidding with Post-training Search

• arxiv url: http://arxiv.org/abs/2412.17018v1
• Date: Sun, 22 Dec 2024 13:47:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:59:13.632357
• Title: GAS: Generative Auto-bidding with Post-training Search
• Title（参考訳）: GAS: ポストトレーニング検索を備えたジェネレーティブオートバイディング
• Authors: Yewen Li, Shuai Mao, Jingtong Gao, Nan Jiang, Yunjian Xu, Qingpeng Cai, Fei Pan, Peng Jiang, Bo An,
• Abstract要約: 本稿では,GASと呼ばれるポストトレーニング後検索を用いたフレキシブルで実用的な自動入札方式を提案し,基本方針モデルの出力を改良する。 実世界のデータセットとKuaishou広告プラットフォーム上でのオンラインA/Bテストによる実験は、GASの有効性を実証している。
• 参考スコア（独自算出の注目度）: 26.229396732360787
• License:
• Abstract: Auto-bidding is essential in facilitating online advertising by automatically placing bids on behalf of advertisers. Generative auto-bidding, which generates bids based on an adjustable condition using models like transformers and diffusers, has recently emerged as a new trend due to its potential to learn optimal strategies directly from data and adjust flexibly to preferences. However, generative models suffer from low-quality data leading to a mismatch between condition, return to go, and true action value, especially in long sequential decision-making. Besides, the majority preference in the dataset may hinder models' generalization ability on minority advertisers' preferences. While it is possible to collect high-quality data and retrain multiple models for different preferences, the high cost makes it unaffordable, hindering the advancement of auto-bidding into the era of large foundation models. To address this, we propose a flexible and practical Generative Auto-bidding scheme using post-training Search, termed GAS, to refine a base policy model's output and adapt to various preferences. We use weak-to-strong search alignment by training small critics for different preferences and an MCTS-inspired search to refine the model's output. Specifically, a novel voting mechanism with transformer-based critics trained with policy indications could enhance search alignment performance. Additionally, utilizing the search, we provide a fine-tuning method for high-frequency preference scenarios considering computational efficiency. Extensive experiments conducted on the real-world dataset and online A/B test on the Kuaishou advertising platform demonstrate the effectiveness of GAS, achieving significant improvements, e.g., 1.554% increment of target cost.
• Abstract（参考訳）: 自動入札は、広告主に代わって自動入札を行うことによって、オンライン広告の促進に不可欠である。 トランスフォーマーやディフューザなどのモデルを用いて、調整可能な条件に基づいて入札を生成するジェネレーティブ自動入札は、データから直接最適な戦略を学習し、好みに合わせて柔軟に調整する可能性から、最近新たなトレンドとして浮上している。 しかし、生成モデルは、特に長いシーケンシャルな意思決定において、条件、戻り値、真のアクション値のミスマッチにつながる低品質なデータに悩まされる。 さらに、データセットの大多数の選好は、少数派の広告主の選好に対するモデルの一般化能力を阻害する可能性がある。 高品質なデータを収集し、異なる選好のために複数のモデルを再訓練することは可能だが、高コストのため、大規模な基盤モデルの時代への自動入札の進歩を妨げる。 そこで本研究では,GASと呼ばれるポストトレーニング後検索を用いたフレキシブルで実用的な自動入札方式を提案し,基本方針モデルの出力を改良し,様々な嗜好に適応させる。 我々は、異なる好みの小さな批評家を訓練し、MCTSにインスパイアされた探索を用いて、モデルの出力を改良する。 具体的には、ポリシー指示で訓練されたトランスフォーマーベースの批評家による投票機構により、検索アライメント性能が向上する可能性がある。 さらに,この探索を利用して,計算効率を考慮した高精度な選好シナリオを微調整する手法を提案する。 実世界のデータセットとKuaishou広告プラットフォーム上でのオンラインA/Bテストで実施された大規模な実験は、GASの有効性を示し、目標コストの1.554%増加など、大幅な改善を実現している。

関連論文リスト

• Dynamic Rewarding with Prompt Optimization Enables Tuning-free Self-Alignment of Language Models [54.381650481255235]
  我々は,Prompt Optimization (O) を用いた動的リワードによる自己アライメントのための新しいチューニング不要アプローチを提案する。 提案手法は,LLMを反復的に自己改善し,最適アライメント命令を作成可能な検索ベース最適化フレームワークを活用する。 近年の8つのLCMのオープンおよびクローズドソースに関する実証評価により,DRPOはアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-11-13T16:15:38Z)
• Aligning Large Language Models via Self-Steering Optimization [78.42826116686435]
  本稿では,高品質な選好信号を自律的に生成するアルゴリズムであるSelf-Steering Optimization(SSO$)を紹介する。 SSO$は、選択された応答と拒否された応答の間に一貫したギャップを確保することで、信号の精度を維持する。 我々は、Qwen2とLlama3.1という2つの基礎モデルを用いて、$SSO$の有効性を検証する。
  論文  参考訳（メタデータ） (2024-10-22T16:04:03Z)
• Auto-GDA: Automatic Domain Adaptation for Efficient Grounding Verification in Retrieval Augmented Generation [13.120801609024147]
  検索拡張生成(RAG)は,大規模言語モデル(LLM)出力の現実性を高めることが示されている。 RAG入力は、NLIモデルのトレーニングに使用されるほとんどのデータセットよりも複雑である。 教師なしドメイン適応を実現するために自動生成ドメイン適応(Auto-GDA)を導入する。
  論文  参考訳（メタデータ） (2024-10-04T14:21:27Z)
• An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
  まず最適化モデルを構築し,非単調な選好をモデル化する。 本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
  論文  参考訳（メタデータ） (2024-09-04T14:36:20Z)
• TSO: Self-Training with Scaled Preference Optimization [14.3799656174528]
  我々は、追加の報酬モデルを訓練することなく、自己学習による選好学習を行う、選好最適化のためのフレームワークTSOを提案する。 TSOは、モデル行列を構築し、人間の嗜好応答を取り入れることで、応答の多様性を高める。 実験の結果、TSOは様々なアライメント評価ベンチマークにおいて、既存の主流手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-31T05:37:01Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Robust Preference Optimization through Reward Model Distillation [68.65844394615702]
  言語モデル (LM) は、好みのアノテーションから派生した報酬関数を最大化する。 DPOは、報酬モデルや強化学習を適用することなく、優先データに直接ポリシーを訓練する一般的なオフラインアライメント手法である。 この現象を解析し, 生成対よりも真の嗜好分布のより良いプロキシを得るため, 蒸留を提案する。
  論文  参考訳（メタデータ） (2024-05-29T17:39:48Z)
• Which LLM to Play? Convergence-Aware Online Model Selection with Time-Increasing Bandits [43.65904435249823]
  本稿では,モデルの性能向上を効果的に予測する帯域幅増加アルゴリズムTI-UCBを提案する。 本研究は,より効率的かつ経済的なモデル選択のために,増大する収束パターンを活用することの重要性を強調した。
  論文  参考訳（メタデータ） (2024-03-11T23:52:46Z)
• GISTEmbed: Guided In-sample Selection of Training Negatives for Text Embedding Fine-tuning [0.0]
  GISTEmbedは、ガイドモデルによる対照的なトレーニングにおいて、バッチ内のネガティブな選択を強化する新しい戦略である。 MTEB(Massive Text Embedding Benchmark)に対してベンチマークされたGISTEmbedは、さまざまなモデルサイズで一貫したパフォーマンス改善を示している。
  論文  参考訳（メタデータ） (2024-02-26T18:55:15Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。