論文の概要: LLMs for Customized Marketing Content Generation and Evaluation at Scale

• arxiv url: http://arxiv.org/abs/2506.17863v1
• Date: Sun, 22 Jun 2025 00:28:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.620796
• Title: LLMs for Customized Marketing Content Generation and Evaluation at Scale
• Title（参考訳）: カスタマイズマーケティングコンテンツ生成のためのLCMと大規模評価
• Authors: Haoran Liu, Amir Tahmasbi, Ehtesham Sam Haque, Purak Jain,
• Abstract要約: オフサイトマーケティングはeコマースにおいて不可欠であり、企業は外部プラットフォームを通じて顧客にリーチし、小売ウェブサイトへのトラフィックを推進できる。 現在のオフサイトマーケティングコンテンツのほとんどは、過剰にジェネリックでテンプレートベースであり、ランディングページと整合性がない。 キーワード固有の広告コピーを生成するために複数のデータソースを統合する検索拡張システムであるMarketingFMを提案する。
• 参考スコア（独自算出の注目度）: 3.704327107754112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Offsite marketing is essential in e-commerce, enabling businesses to reach customers through external platforms and drive traffic to retail websites. However, most current offsite marketing content is overly generic, template-based, and poorly aligned with landing pages, limiting its effectiveness. To address these limitations, we propose MarketingFM, a retrieval-augmented system that integrates multiple data sources to generate keyword-specific ad copy with minimal human intervention. We validate MarketingFM via offline human and automated evaluations and large-scale online A/B tests. In one experiment, keyword-focused ad copy outperformed templates, achieving up to 9% higher CTR, 12% more impressions, and 0.38% lower CPC, demonstrating gains in ad ranking and cost efficiency. Despite these gains, human review of generated ads remains costly. To address this, we propose AutoEval-Main, an automated evaluation system that combines rule-based metrics with LLM-as-a-Judge techniques to ensure alignment with marketing principles. In experiments with large-scale human annotations, AutoEval-Main achieved 89.57% agreement with human reviewers. Building on this, we propose AutoEval-Update, a cost-efficient LLM-human collaborative framework to dynamically refine evaluation prompts and adapt to shifting criteria with minimal human input. By selectively sampling representative ads for human review and using a critic LLM to generate alignment reports, AutoEval-Update improves evaluation consistency while reducing manual effort. Experiments show the critic LLM suggests meaningful refinements, improving LLM-human agreement. Nonetheless, human oversight remains essential for setting thresholds and validating refinements before deployment.
• Abstract（参考訳）: オフサイトマーケティングはeコマースにおいて不可欠であり、企業は外部プラットフォームを通じて顧客にリーチし、小売ウェブサイトへのトラフィックを推進できる。 しかし、現在のオフサイトマーケティングコンテンツのほとんどは、過度に汎用的で、テンプレートベースで、ランディングページとの整合性が悪く、有効性を制限している。 これらの制約に対処するために,複数のデータソースを統合してキーワード固有の広告コピーを最小限の介入で生成する検索強化システムであるMarketingFMを提案する。 オフラインの人間と自動化された評価と大規模オンラインA/Bテストを通してMarketingFMを検証する。 ある実験では、キーワード中心の広告コピーは、CTRが最大9%、インプレッションが12%、CPCが0.38%向上し、広告ランキングとコスト効率が向上した。 こうした利益にもかかわらず、生成された広告の人間によるレビューは依然として費用がかかる。 そこで本研究では,ルールベースのメトリクスとLCM-as-a-Judge技術を組み合わせた自動評価システムであるAutoEval-Mainを提案する。 大規模な人間のアノテーションを用いた実験では、AutoEval-Mainは89.57%の合意を得た。 評価プロンプトを動的に洗練し,人間の入力を最小限に抑えたシフト基準に適応する,コスト効率のよいLCM-ヒューマン協調フレームワークであるAutoEval-Updateを提案する。 人間レビューのための代表広告を選択的にサンプリングし、批評家のLCMを使用してアライメントレポートを生成することにより、AutoEval-Updateは手作業の削減を図り、評価一貫性を向上させる。 実験は、批評家のLLMが意味のある改善を提案し、LLMと人間との合意を改善していることを示している。 それでも、人間の監視は、しきい値を設定し、デプロイ前に改善を検証するために不可欠である。

関連論文リスト

• LLM-Cure: LLM-based Competitor User Review Analysis for Feature Enhancement [0.7285835869818668]
  本稿では,大規模言語モデル(LLM)に基づく機能拡張のための競合ユーザレビュー分析を提案する。 LLM-Cureは、LCMを適用して、レビュー内の特徴を特定し、分類する。 LLM-Cureは、ユーザーレビューに苦情を付けると、苦情に関連する競合アプリの高い評価(4と5の星)のレビューをキュレートする。
  論文  参考訳（メタデータ） (2024-09-24T04:17:21Z)
• Reference-Guided Verdict: LLMs-as-Judges in Automatic Evaluation of Free-Form Text [12.879551933541345]
  大きな言語モデル(LLM)は、人間のような会話を生成できる。 BLEUやROUGEのような従来のメトリクスは、このような生成出力の微妙な意味と文脈的な豊かさを捉えるには不十分である。 本稿では,複数のLSM-as-judgesを活用することで,評価プロセスを自動化する基準誘導型判定手法を提案する。
  論文  参考訳（メタデータ） (2024-08-17T16:01:45Z)
• Auto-Arena: Automating LLM Evaluations with Agent Peer Battles and Committee Discussions [77.66677127535222]
  Auto-ArenaはLLMエージェントを使用した評価プロセス全体を自動化した革新的なフレームワークである。 我々の実験では、Auto-Arenaは92.14%の相関関係を示し、以前の専門家が注釈付けしたベンチマークをすべて上回っている。
  論文  参考訳（メタデータ） (2024-05-30T17:19:19Z)
• Calibrating LLM-Based Evaluator [92.17397504834825]
  マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。 人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。 複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2023-09-23T08:46:11Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。