論文の概要: To Judge or not to Judge: Using LLM Judgements for Advertiser Keyphrase Relevance at eBay

• arxiv url: http://arxiv.org/abs/2505.04209v2
• Date: Thu, 29 May 2025 05:39:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 15:42:33.800283
• Title: To Judge or not to Judge: Using LLM Judgements for Advertiser Keyphrase Relevance at eBay
• Title（参考訳）: 判断するか、判断するか:eBayにおける広告主のキーワード関連性のためのLCM判断の利用
• Authors: Soumik Dey, Hansi Wu, Binbin Li,
• Abstract要約: eコマースの売り手は、購入者のエンゲージメントを高めるため、在庫に基づいてキーワードを推奨する(クリック/セール)。 広告主キーフレーズの関連性は 検索システムの浸入を防ぐ 重要な役割を担っています 本研究は,eBay Advertisingのケーススタディを通じて,人間による判断の実用性について論じる。
• 参考スコア（独自算出の注目度）: 1.7058804466282262
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: E-commerce sellers are recommended keyphrases based on their inventory on which they advertise to increase buyer engagement (clicks/sales). The relevance of advertiser keyphrases plays an important role in preventing the inundation of search systems with numerous irrelevant items that compete for attention in auctions, in addition to maintaining a healthy seller perception. In this work, we describe the shortcomings of training Advertiser keyphrase relevance filter models on click/sales/search relevance signals and the importance of aligning with human judgment, as sellers have the power to adopt or reject said keyphrase recommendations. In this study, we frame Advertiser keyphrase relevance as a complex interaction between 3 dynamical systems -- seller judgment, which influences seller adoption of our product, Advertising, which provides the keyphrases to bid on, and Search, who holds the auctions for the same keyphrases. This study discusses the practicalities of using human judgment via a case study at eBay Advertising and demonstrate that using LLM-as-a-judge en-masse as a scalable proxy for seller judgment to train our relevance models achieves a better harmony across the three systems -- provided that they are bound by a meticulous evaluation framework grounded in business metrics.
• Abstract（参考訳）: eコマースの売り手は、購入者のエンゲージメント(クリック/セール)の増加を宣伝する在庫に基づいて、キーワードを推奨する。 広告主キーフレーズの関連性は、健康的な販売者の認識の維持に加えて、競売に注意を払って競争する無関係な項目が多数ある検索システムの浸出を防止する上で重要な役割を担っている。 本稿では、クリック/セール/検索関連信号に対するアドバタイザーキーフレーズ関連フィルタモデルのトレーニングの欠点と、販売者が当該キーフレーズの推奨を採用または拒否する権限を有するため、人間の判断に合致することの重要性について述べる。 本研究では,3つの動的システム間の複雑な相互作用として,販売者の判断,販売者の商品採用に影響を与える広告,入札するキーフレーズを提供する広告,同じキーフレーズのオークションを開催する検索を行う。 本稿では,eBay Advertisingのケーススタディを通じて人的判断を使用する実践性について論じるとともに,LLM-as-a-judge en-masseを売り手判断のスケーラブルなプロキシとして使用することで,ビジネスメトリクスに根ざした厳密な評価フレームワークに縛られていることを前提として,その妥当性をトレーニングする上で,3つのシステム間の調和性の向上を実現することを実証する。

関連論文リスト

• Middleman Bias in Advertising: Aligning Relevance of Keyphrase Recommendations with Search [4.275764895529604]
  本稿では,クリック/セール信号の学習関連度フィルタモデルの欠点について述べる。 我々は,2つの動的システム間の相互作用として,広告主のキーフレーズの関連性を再認識する。 本稿では,検索関連システムのバイアスと,広告主のキーワードを検索関連信号と整合させる必要性について論じる。
  論文  参考訳（メタデータ） (2025-01-31T19:28:26Z)
• JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
  本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。 我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。 さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
  論文  参考訳（メタデータ） (2024-10-31T18:43:12Z)
• GraphEx: A Graph-based Extraction Method for Advertiser Keyphrase Recommendation [3.167259972777881]
  GraphExは革新的なグラフベースのアプローチで、アイテムタイトルからトークンの置換を抽出することで、売り手にキーフレーズを推奨する。 リソース制約のあるプロダクション環境でほぼリアルタイムの推論をサポートし、何十億ものアイテムに対して効果的にスケールする。
  論文  参考訳（メタデータ） (2024-09-05T00:25:37Z)
• Advancing Ad Auction Realism: Practical Insights & Modeling Implications [2.8413290300628313]
  本稿では,広告主を敵の帯域幅アルゴリズムが支配するエージェントとしてモデル化することで,現代の広告オークションに対する有用な洞察を得ることができることを示す。 ソフトフロアは適切な選択されたリザーブ価格よりも低い収益をもたらし、単一のクエリに注意を向けることさえできる。
  論文  参考訳（メタデータ） (2023-07-21T17:45:28Z)
• KPEval: Towards Fine-Grained Semantic-Based Keyphrase Evaluation [69.57018875757622]
  KPEvalは、参照合意、忠実性、多様性、有用性という4つの重要な側面からなる総合的な評価フレームワークである。 KPEvalを用いて、23のキーフレーズシステムを再評価し、確立されたモデル比較結果に盲点があることを発見した。
  論文  参考訳（メタデータ） (2023-03-27T17:45:38Z)
• Hierarchical Conversational Preference Elicitation with Bandit Feedback [36.507341041113825]
  提案システムでは,各ラウンドで推薦するキータームかアイテムのいずれかを選択することができる。 実世界のデータセットを調査・分析し、先行研究と異なり、キーターム報酬は主に代表品の報酬に影響されていることを確認する。 我々は、この観測結果とキータームとアイテム間の階層構造を利用する2つの帯域幅アルゴリズム、Hier-UCBとHier-LinUCBを提案する。
  論文  参考訳（メタデータ） (2022-09-06T05:35:24Z)
• A novel auction system for selecting advertisements in Real-Time bidding [68.8204255655161]
  リアルタイム入札(Real-Time Bidding)は、インターネット広告システムで、近年非常に人気を集めている。 本稿では、経済的な側面だけでなく、広告システムの機能にかかわる他の要因も考慮した、新たなアプローチによる代替ベッティングシステムを提案する。
  論文  参考訳（メタデータ） (2020-10-22T18:36:41Z)
• Examining the Ordering of Rhetorical Strategies in Persuasive Requests [58.63432866432461]
  本研究では,大規模ローン要求コーパスからのテキスト要求において,コンテンツと修辞戦略をアンタングル化するために,変分オートエンコーダモデルを用いる。 特定の(順序の)戦略が要求の内容と一意に相互作用し、成功率に影響を与え、その結果、要求の説得力に影響を及ぼす。
  論文  参考訳（メタデータ） (2020-10-09T15:10:44Z)
• Learning to Infer User Hidden States for Online Sequential Advertising [52.169666997331724]
  本稿では,これらの問題に対処するディープインテントシーケンス広告(DISA)手法を提案する。 解釈可能性の鍵となる部分は、消費者の購入意図を理解することである。
  論文  参考訳（メタデータ） (2020-09-03T05:12:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。