論文の概要: LLM-based User-Product Relevance Evaluation for Dynamic Product Advertising

• arxiv url: http://arxiv.org/abs/2610.14550v1
• Date: Sat, 10 Oct 2026 04:15:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.066062
• Title: LLM-based User-Product Relevance Evaluation for Dynamic Product Advertising
• Title（参考訳）: LLMを用いた動的商品広告のためのユーザ製品関連性評価
• Abstract要約: 本稿では,動的商品広告(DPA)検索システムのオフライン評価のためのユーザ製品関連指標を提案する。 計量はまずエンゲージメント履歴をコンパクトなインテント代表集合に圧縮する。 推奨商品の個々の意図に対する関連性を評価し、それらをユーザレベルの関連スコアとして集計する。
• 参考スコア（独自算出の注目度）: 24.19101543689582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic Product Advertising (DPA) retrieval systems are a core component of modern e-commerce advertising; however, their evaluation remains challenging. Conventional offline engagement metrics are limited by sparse, biased feedback, while online evaluation is costly and time-consuming. In this work, we propose a user--product relevance metric for offline evaluation of DPA retrieval systems. The metric first compresses the engagement history into a compact set of intent representatives via Semantic-ID-grouped, event-stratified segmentation, then assesses the relevance of a recommended product to each individual intent and aggregates them as a user-level relevance score, yielding a stable and interpretable measure of retrieval quality. To compute this metric at scale, we leverage large language models (LLMs) as semantic relevance judges, capturing nuanced functional and semantic relationships that heuristic methods often miss. We propose an agentic, human-aligned prompting framework that generates multi-category relevance guidelines and distills teacher-model judgments into an efficient student model for scalable evaluation. The resulting metric strongly correlates with offline and online business metrics, enabling faster and more reliable DPA retrieval iteration before A/B testing.
• Abstract（参考訳）: 動的商品広告(DPA)検索システムは,現代のeコマース広告の中核的な要素であるが,その評価は依然として困難である。 従来のオフラインエンゲージメントメトリクスは、疎結合で偏りのあるフィードバックによって制限され、オンライン評価はコストと時間を要する。 本研究では,DPA検索システムのオフライン評価のためのユーザ-製品関連指標を提案する。 メトリックは、まず、セマンティックIDグループ化されたイベント階層化されたセグメンテーションを介して、エンゲージメント履歴をコンパクトなインテント代表セットに圧縮し、各インテントに対する推奨商品の関連性を評価し、それらをユーザレベルのレバレンススコアとして集約し、安定した、解釈可能な検索品質の測定値を得る。 このメトリクスを大規模に計算するために、我々は、大規模言語モデル(LLM)を意味的関連判断として活用し、ヒューリスティックな手法がしばしば見逃す、曖昧な機能的および意味的関係を捉える。 本稿では,多カテゴリ関連ガイドラインを生成し,教師モデルの判断を,スケーラブルな評価を行うための効率的な学生モデルに蒸留するエージェント・アライン・プロンプト・フレームワークを提案する。 結果のメトリクスは、オフラインおよびオンラインビジネスメトリクスと強く相関し、A/Bテストの前により高速で信頼性の高いDPA検索イテレーションを可能にする。

関連論文リスト

• Personalized Deep Research: A User-Centric Framework, Dataset, and Hybrid Evaluation for Knowledge Discovery [36.57361069825463]
  動的ユーザコンテキストをコア検索・推論ループに統合するPDR(Personalized Deep Research)を導入する。 PDRは、ユーザープロファイルモデリングを反復的なクエリ開発、二重ステージ(プライベート/パブリック)検索、コンテキスト認識合成と統合する。 これにより、研究サブゴールとユーザの意図を自律的に調整し、エビデンス収集の停止基準を最適化することができる。
  論文  参考訳（メタデータ） (2026-05-11T13:14:54Z)
• Negative Data Mining for Contrastive Learning in Dense Retrieval at IKEA.com [0.5371337604556311]
  本稿では,構造的負のサンプリング戦略を用いて,IKEA製品検索の高密度検索を改善するための体系的アプローチを提案する。 本手法は,カナダ市場でのオフライン実ユーザクエリ実験において,平均カテゴリ精度+2.6%を達成している。 長テールクエリに対するA/Bテストでは、改善されたモデルとベースラインモデルの間のユーザエンゲージメントの指標に統計的に有意な差は見られなかった。
  論文  参考訳（メタデータ） (2026-05-01T02:32:02Z)
• From Pixels to Purchase: Building and Evaluating a Taxonomy-Decoupled Visual Search Engine for Home Goods E-commerce [6.200631104634354]
  ビジュアル検索は、特にユーザ意図が主観的でオープンなスタイル駆動のドメインにおいて、電子商取引において重要である。 分類自由領域の提案と類似性検索のための統合埋め込みを用いた分類分離アーキテクチャを提案する。 我々のシステムでは、検索品質を改善し、顧客エンゲージメントの計測可能なアップリフトを得られる一方、オフライン評価の指標は現実世界の結果と強く相関する。
  論文  参考訳（メタデータ） (2026-01-16T20:54:30Z)
• Generating Query-Relevant Document Summaries via Reinforcement Learning [5.651096645934245]
  ReLSumは、検索関連性に最適化された製品記述のクエリ関連要約を生成するために設計された強化学習フレームワークである。 このフレームワークは、トレーニング可能な大言語モデル(LLM)を使用して要約を生成し、その後、クロスエンコーダランキングモデルの入力として使用される。 実験の結果、オンラインユーザエンゲージメント指標と同様に、リコールやNDCGを含むオフラインメトリクスの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-08-11T18:52:28Z)
• Centrality-aware Product Retrieval and Ranking [14.710718676076327]
  本稿では,ユーザの検索クエリに関連する製品ランキングを強化することで,eコマースプラットフォーム上でのユーザエクスペリエンス向上の課題に対処する。 eBayのサンプルをキュレートし、購入者中心の関連スコアと集中度スコアを手作業でアノテートしました。 本稿では,既存モデルに対するユーザインテリジェンス中心性最適化(UCO)アプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-21T11:59:14Z)
• Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
  オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。 我々は,GPT-4が生成したコミットメッセージと,人間の専門家が編集したコミットメッセージからなる57対のデータセットを収集した。 以上の結果から,編集距離が最も高い相関性を示すのに対し,BLEUやMETEORなどの類似度は低い相関性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-10-15T20:32:07Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Exploring validation metrics for offline model-based optimisation with diffusion models [50.404829846182764]
  モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。 モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。 本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
  論文  参考訳（メタデータ） (2022-11-19T16:57:37Z)
• Entity-Graph Enhanced Cross-Modal Pretraining for Instance-level Product Retrieval [152.3504607706575]
  本研究の目的は, 細粒度製品カテゴリを対象とした, 弱制御型マルチモーダル・インスタンスレベルの製品検索である。 まず、Product1Mデータセットをコントリビュートし、2つの実際のインスタンスレベルの検索タスクを定義します。 我々は、マルチモーダルデータから重要な概念情報を組み込むことができるより効果的なクロスモーダルモデルを訓練するために活用する。
  論文  参考訳（メタデータ） (2022-06-17T15:40:45Z)
• AliExpress Learning-To-Rank: Maximizing Online Model Performance without Going Online [60.887637616379926]
  本稿では,学習からランクへ学習するための評価器・ジェネレータフレームワークを提案する。 コンテキストを含むレコメンデーションを一般化して評価する評価器と、強化学習による評価器スコアを最大化するジェネレータとから構成される。 本手法は, オンラインA/Bテストにおける産業レベルの微調整モデルよりも, 変換率(CR)の面で大幅に向上する。
  論文  参考訳（メタデータ） (2020-03-25T10:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。