Fugu-MT 論文翻訳(概要): Improving Generative Ad Text on Facebook using Reinforcement Learning

論文の概要: Improving Generative Ad Text on Facebook using Reinforcement Learning

arxiv url: http://arxiv.org/abs/2507.21983v1
Date: Tue, 29 Jul 2025 16:34:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-30 17:08:56.748053
Title: Improving Generative Ad Text on Facebook using Reinforcement Learning
Title（参考訳）: 強化学習によるFacebook上の広告テキスト生成の改善
Authors: Daniel R. Jiang, Alex Nikulkov, Yu-Chia Chen, Yang Bai, Zheqing Zhu,
Abstract要約: 本稿は、Facebook上の生成広告のためのRL学習型大規模言語モデルの最初の展開について紹介する。我々のモデルである"AdLlama"は、広告主が人書きの広告テキストの新しいバリエーションを作成するのを助けるAIツールである。 Facebook上の大規模な10週間のA/Bテストにおいて、AdLlamaは、キュレートされた広告でトレーニングされた教師付き模倣モデルと比較して、クリックスルー率を6.7%改善することがわかった。
参考スコア（独自算出の注目度）: 11.28110246872973
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Generative artificial intelligence (AI), in particular large language models (LLMs), is poised to drive transformative economic change. LLMs are pre-trained on vast text data to learn general language patterns, but a subsequent post-training phase is critical to align them for specific real-world tasks. Reinforcement learning (RL) is the leading post-training technique, yet its economic impact remains largely underexplored and unquantified. We examine this question through the lens of the first deployment of an RL-trained LLM for generative advertising on Facebook. Integrated into Meta's Text Generation feature, our model, "AdLlama," powers an AI tool that helps advertisers create new variations of human-written ad text. To train this model, we introduce reinforcement learning with performance feedback (RLPF), a post-training method that uses historical ad performance data as a reward signal. In a large-scale 10-week A/B test on Facebook spanning nearly 35,000 advertisers and 640,000 ad variations, we find that AdLlama improves click-through rates by 6.7% (p=0.0296) compared to a supervised imitation model trained on curated ads. This represents a substantial improvement in advertiser return on investment on Facebook. We also find that advertisers who used AdLlama generated more ad variations, indicating higher satisfaction with the model's outputs. To our knowledge, this is the largest study to date on the use of generative AI in an ecologically valid setting, offering an important data point quantifying the tangible impact of RL post-training. Furthermore, the results show that RLPF is a promising and generalizable approach for metric-driven post-training that bridges the gap between highly capable language models and tangible outcomes.
Abstract（参考訳）: 生成的人工知能(AI)、特に大きな言語モデル(LLM)は、変革的な経済変革を促進する。 LLMは、汎用的なパターンを学ぶために、膨大なテキストデータで事前訓練されているが、その後のトレーニングフェーズでは、それらを特定の現実世界のタスクに合わせることが重要である。強化学習(Reinforcement Learning, RL)は、訓練後の指導的手法であるが、その経済的な影響は未解明であり、定量化されていない。本稿は、Facebook上でのジェネレーティブ広告のためのRL学習LLMの最初の展開のレンズを通して、この問題を考察する。 Metaのテキスト生成機能に統合された当社のモデルである"AdLlama"は、広告主が人書きの広告テキストの新しいバリエーションを作成するのに役立つAIツールである。このモデルをトレーニングするために,過去の広告パフォーマンスデータを報酬信号として利用するポストトレーニング手法であるRLPF(Regress Learning with Performance feedback)を導入する。 Facebook上での大規模な10週間のA/Bテストでは、約35,000の広告主と640,000の広告バリエーションにまたがって、AdLlamaは、キュレートされた広告で訓練された教師付き模倣モデルと比較して、クリックスルー率を6.7%(p=0.0296)改善している。これはFacebookへの投資に対する広告主のリターンが大幅に改善したことを意味している。また、AdLlamaを使用する広告主は広告のバリエーションを増やし、モデルのアウトプットに対する満足度を高めていることもわかりました。我々の知る限り、この研究は、環境的に有効な環境での生成AIの使用に関する、これまでで最大の研究であり、RLポストトレーニングの具体的な影響を定量化する重要なデータポイントを提供する。さらに, RLPFは, 有能な言語モデルと具体的な結果とのギャップを埋める, 計量駆動型ポストトレーニングにおいて, 有望かつ一般化可能なアプローチであることを示す。

関連論文リスト

SeRL: Self-Play Reinforcement Learning for Large Language Models with Limited Data [65.56911325914582]
限られた初期データを用いたLarge Language Models (LLM) トレーニングのブートストラップとして,SeRL(Se-play Reinforcement Learning)を提案する。提案したSeRLは、その結果よりも優れ、検証可能な報酬を持つ高品質なデータと同等の性能が得られる。
論文参考訳（メタデータ） (2025-05-25T13:28:04Z)
LLM Post-Training: A Deep Dive into Reasoning Large Language Models [131.10969986056]
大規模言語モデル (LLMs) は自然言語処理の状況を変え、多様な応用をもたらした。ポストトレーニング手法により、LLMは知識を洗練させ、推論を改善し、事実の正確性を高め、ユーザの意図や倫理的配慮をより効果的に整合させることができる。
論文参考訳（メタデータ） (2025-02-28T18:59:54Z)
CTR-Driven Advertising Image Generation with Multimodal Large Language Models [53.40005544344148]
本稿では,Click-Through Rate (CTR) を主目的とし,マルチモーダル大言語モデル(MLLM)を用いた広告画像の生成について検討する。生成した画像のCTRをさらに改善するため、強化学習(RL)を通して事前学習したMLLMを微調整する新たな報酬モデルを提案する。本手法は,オンラインとオフラインの両方で最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2025-02-05T09:06:02Z)
Trading Devil RL: Backdoor attack via Stock market, Bayesian Optimization and Reinforcement Learning [0.0]
本研究では,データ中毒にのみ焦点をあてたバックドア攻撃と,動的システムによる検出方法,およびデータの分布の統計的解析を提案する。本研究の目的は,テキスト生成や音声認識,ファイナンス,物理,現代人工知能モデルのエコシステムに強化学習システムを利用する大規模言語モデルの有効性を検討することである。
論文参考訳（メタデータ） (2024-12-23T19:04:46Z)
Self-Evolved Reward Learning for LLMs [45.6910747154447]
RLHF(Reinforcement Learning from Human Feedback)は、言語モデルと人間の嗜好を整合させる重要な手法である。本稿では、RMが反復的に自己改善するための追加のトレーニングデータを生成する新しいアプローチである自己進化リワード学習(SER:Self-Evolved Reward Learning)を提案する。以上の結果から,人間による注釈付きデータであっても,自己フィードバックから学習することで,RM性能が向上することが示唆された。
論文参考訳（メタデータ） (2024-11-01T07:29:03Z)
Navigating WebAI: Training Agents to Complete Web Tasks with Large Language Models and Reinforcement Learning [6.404122934568861]
スーパーバイザード・ラーニング(SL)アプローチは,従来の手法に比べてトレーニングデータが少なく,優れたパフォーマンスを実現している。 SLとRLの手法をMiniWoBベンチマーク上で組み合わせ,両手法の強みを利用する手法を提案する。実験により,従来のSL手法よりも少ないデータ量で性能を向上し,RLモデルと性能ギャップを狭めることを示した。
論文参考訳（メタデータ） (2024-05-01T13:51:45Z)
The Truth is in There: Improving Reasoning in Language Models with Layer-Selective Rank Reduction [22.659005954676598]
重み行列の高次成分を選択的に除去することにより,大規模言語モデルの性能を大幅に向上させることができることを示す。 LAER(Layer-Selective Rank reduction)と呼ばれるこの単純な介入は、トレーニングが完了した後、モデル上で行うことができる。言語モデルとデータセットにまたがって、この発見の汎用性を実証する広範な実験を示す。
論文参考訳（メタデータ） (2023-12-21T03:51:08Z)
Effective Large Language Model Adaptation for Improved Grounding and Citation Generation [48.07830615309543]
本稿では,検索した文の応答を基底にして,引用を提供することにより,大規模言語モデル(LLM)の改善に焦点を当てる。我々は、全体論的観点から基盤を改善する新しいフレームワーク AGREE を提案する。我々のフレームワークは, LLMを調整し, その要求を自己評価し, 検索した文書に正確な引用を提供する。
論文参考訳（メタデータ） (2023-11-16T03:22:25Z)
A Simple yet Efficient Ensemble Approach for AI-generated Text Detection [0.5840089113969194]
大規模言語モデル(LLM)は、人間の文章によく似たテキストを生成する際、顕著な能力を示した。人工的に生成されたテキストと人間が作成したテキストを区別できる自動化アプローチを構築することが不可欠である。本稿では,複数の構成 LLM からの予測をまとめて,シンプルで効率的な解を提案する。
論文参考訳（メタデータ） (2023-11-06T13:11:02Z)
The Web Can Be Your Oyster for Improving Large Language Models [98.72358969495835]
大規模言語モデル(LLM)は、大量の世界の知識を符号化する。我々はLLMを検索エンジンを用いて大規模ウェブで拡張することを検討する。ウェブ上に拡張されたLLM UNIWEBを提案する。これは16の知識集約的なタスクに対して、統一されたテキスト・テキスト・フォーマットで訓練される。
論文参考訳（メタデータ） (2023-05-18T14:20:32Z)
A Survey of Large Language Models [81.06947636926638]
言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
論文参考訳（メタデータ） (2023-03-31T17:28:46Z)
Ranking Creative Language Characteristics in Small Data Scenarios [52.00161818003478]
DirectRankerを適用して、小さなデータでクリエイティブ言語をランク付けするための、新しいディープモデルを提供します。スパーストレーニングデータを用いた実験により、標準的なニューラルネットワークのランク付け手法の性能は小さなデータセットで崩壊するが、DirectRankerは依然として有効であることがわかった。
論文参考訳（メタデータ） (2020-10-23T18:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。