論文の概要: Offline-to-Online Creative Optimization with Generative Models and Adaptive Testing

• arxiv url: http://arxiv.org/abs/2607.23696v1
• Date: Sun, 26 Jul 2026 14:45:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.205061
• Title: Offline-to-Online Creative Optimization with Generative Models and Adaptive Testing
• Title（参考訳）: 生成モデルと適応テストによるオフラインからオンラインまでの創造的最適化
• Abstract要約: 生成モデルは多くの有望な創造性を生み出すことができるが、信頼性の高い評価にはオンライン実験が必要である。 我々は、過去のA/Bテストのデータを使用して、そのスレート内の候補を生成し、選択します。 この方法で生成された最高の創造性は、最高の人間による創造性よりも45.1%高いエンゲージメントを得た。
• 参考スコア（独自算出の注目度）: 10.841767390342921
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ad creative optimization is increasingly constrained by evaluation rather than generation. Generative models can produce many plausible creatives, but reliable evaluation requires online experiments, in which only a limited slate can be tested. We study how to use data from historical A/B tests to generate and select the candidates in that slate. We developed and deployed a performance-driven offline-to-online workflow that guides creative generation with a predictive model as an inference-time critic. In the offline phase, we use a predictive model trained on historical experiments to rank and refine variants created by a generative model. A final test slate is then deployed in an online adaptive experiment. In a 50-arm field experiment, we found that the best creative generated with this method yielded 45.1% higher engagement than the best human-authored creative. Two additional experiments showed the same upper-tail pattern, with lifts of 46.7% and 36.2%. We found that despite the predictive model being too noisy to directly identify the best creative offline, it effectively guides the generative model toward creating strong candidates that can be efficiently evaluated in an adaptive experiment. The results suggest a design principle for creative optimization with generative models: use predictive models to guide generation of a slate to test, judge the slate by whether it contains high-performing candidates at a feasible test size, and use adaptive experiments to select among candidates while limiting traffic lost to weak arms.
• Abstract（参考訳）: 広告の創造的最適化は、世代ではなく評価によってますます制約される。 生成モデルは、多くの有望な創造性を生み出すことができるが、信頼性の高い評価には、限られたスレートしかテストできないオンライン実験が必要である。 本研究では,過去のA/Bテストから得られたデータを用いて,そのスレート内の候補を生成し,選択する方法について検討する。 我々は、予測モデルによる創造的生成を推論時間批評家としてガイドする、パフォーマンス駆動のオフライン-オンラインワークフローを開発し、展開した。 オフラインフェーズでは、歴史的実験に基づいて訓練された予測モデルを用いて、生成モデルによって生成された変種をランク付けし、洗練する。 最終的なテストスレートは、オンライン適応実験にデプロイされる。 50mのフィールド実験で、この方法で生成された最高の創造性は、最高の人間による創造性よりも45.1%高いエンゲージメントを得た。 2つの実験で同じ上尾のパターンが示され、リフトは46.7%と36.2%であった。 予測モデルは、最高の創造的オフラインを直接識別するにはうるさいが、適応実験で効果的に評価できる強い候補を生成するための生成モデルを効果的に導く。 その結果, 予測モデルを用いてスレートの生成を誘導し, 高い性能の候補を有効規模で含むか否かを判断し, 弱い腕に失ったトラフィックを抑えながら, 適応実験を用いて候補を選別する, 生成モデルによる創造的最適化の設計原理が示唆された。

関連論文リスト

• Recipes for Creativity: Iterative Generation and Evaluation in Large Language Models [0.4549831511476248]
  本研究では,2024 Pillsbury Bake-Offのレシピ生成にFunSearchを適用することにより,反復検索がクリエイティビティを向上させるかを検討する。 2つの実験において、繰り返し回数、発電機温度、ループ内選択-スカラーモデルサイズを試験した。 その結果、反復世代選択は人間のベンチマークに匹敵するクリエイティビティスコアを持つレシピを生成することができるが、追加のイテレーションだけではクリエイティビティを改善することはできない。
  論文  参考訳（メタデータ） (2026-08-07T14:02:36Z)
• Self-Improving LLM Agents at Test-Time [49.9396634315896]
  言語モデル(LM)の1つのパラダイムは、大規模なトレーニングデータセットの作成に依存している。 実際には、大量のデータを集めることは非効率であり、それらのトレーニングは違法に高価である。 テスト時間自己改善(TT-SI)とテスト時間蒸留(TT-D)の2つのバリエーションについて検討する。
  論文  参考訳（メタデータ） (2025-10-09T06:37:35Z)
• Data-Juicer Sandbox: A Feedback-Driven Suite for Multimodal Data-Model Co-development [67.55944651679864]
  統合データモデル共同開発に適した新しいサンドボックススイートを提案する。 このサンドボックスは、フィードバック駆動の実験プラットフォームを提供し、コスト効率とデータとモデルの両方のガイド付き洗練を可能にする。
  論文  参考訳（メタデータ） (2024-07-16T14:40:07Z)
• Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models [54.132297393662654]
  本稿では,RLによる報酬モデルの最適化により,最先端拡散モデルを微調整するハイブリッド手法を提案する。 我々は、報酬モデルの補間能力を活用し、オフラインデータにおいて最良の設計を上回るアプローチの能力を実証する。
  論文  参考訳（メタデータ） (2024-05-30T03:57:29Z)
• Implicitly Guided Design with PropEn: Match your Data to Follow the Gradient [52.2669490431145]
  PropEnは'matching'にインスパイアされている。 一致したデータセットによるトレーニングは、データ分布内に留まりながら、興味のある性質の勾配を近似することを示す。
  論文  参考訳（メタデータ） (2024-05-28T11:30:19Z)
• Budgeted Online Model Selection and Fine-Tuning via Federated Learning [26.823435733330705]
  オンラインモデル選択では、候補モデルのセットからモデルを選択して、データのストリームで予測を実行する。 その後の候補モデルの選択は、パフォーマンスに決定的な影響を与えます。 本稿では,学習者グループ(クライアント)が十分なメモリを持つサーバと対話するオンラインフェデレーションモデル選択フレームワークを提案する。 提案したアルゴリズムを用いて、クライアントとサーバは微調整モデルと協調して非定常環境に適応する。
  論文  参考訳（メタデータ） (2024-01-19T04:02:49Z)
• RAFT: Reward rAnked FineTuning for Generative Foundation Model Alignment [32.752633250862694]
  生成基礎モデルは、広範囲の教師なしのトレーニングデータから生じる暗黙のバイアスに影響を受けやすい。 我々は、生成モデルを効果的に整合させるために設計された新しいフレームワーク、Reward rAnked FineTuningを紹介する。
  論文  参考訳（メタデータ） (2023-04-13T18:22:40Z)
• Online simulator-based experimental design for cognitive model selection [74.76661199843284]
  本稿では,抽出可能な確率を伴わない計算モデルを選択する実験設計手法BOSMOSを提案する。 シミュレーション実験では,提案手法により,既存のLFI手法に比べて最大2桁の精度でモデルを選択することができることを示した。
  論文  参考訳（メタデータ） (2023-03-03T21:41:01Z)
• Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
  予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。 実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-10-07T02:12:34Z)
• Learning to Increase the Power of Conditional Randomization Tests [8.883733362171032]
  モデル-X条件ランダム化テストは、条件独立性テストのための一般的なフレームワークである。 本稿では,モデルXテストのパワー向上を目的とした新しいモデル適合方式を提案する。
  論文  参考訳（メタデータ） (2022-07-03T12:29:25Z)
• Towards the D-Optimal Online Experiment Design for Recommender Selection [18.204325860752768]
  ユーザとレコメンデーションの両方が、報酬に有益なコンテキスト機能を持っているため、最適なオンライン実験を見つけることは簡単ではない。 本研究では,古典統計学のemphD-Optimal設計を活用し,探索時の最大情報ゲインを実現する。 次に、Walmart.comでのデプロイメントの例を使って、提案手法の実践的洞察と効果を十分に説明します。
  論文  参考訳（メタデータ） (2021-10-23T04:30:27Z)
• Model Selection for Production System via Automated Online Experiments [16.62275716351037]
  業界で機械学習の実践者が直面している課題は、本番環境にデプロイする最良のモデルを選択することだ。 A/Bテストのようなオンライン制御された実験は、システム全体の効果を最も信頼性の高い見積もるが、予算の制約のため、2つか数つのモデルしか比較できない。 大規模なモデルプールからモデル選択を効率的に行うことができるオンライン自動実験機構を提案する。
  論文  参考訳（メタデータ） (2021-05-27T19:48:23Z)
• Online Active Model Selection for Pre-trained Classifiers [72.84853880948894]
  我々は,任意のラウンドにおいて高い確率で最良のモデルをラベル付けし,出力する情報的サンプルを積極的に選択するオンライン選択的サンプリング手法を設計する。 我々のアルゴリズムは、敵とストリームの両方のオンライン予測タスクに利用できる。
  論文  参考訳（メタデータ） (2020-10-19T19:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。