論文の概要: LLMDistill4Ads: Using Cross-Encoders to Distill from LLM Signals for Advertiser Keyphrase Recommendations at eBay

• arxiv url: http://arxiv.org/abs/2508.03628v2
• Date: Fri, 08 Aug 2025 21:55:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 13:12:52.266409
• Title: LLMDistill4Ads: Using Cross-Encoders to Distill from LLM Signals for Advertiser Keyphrase Recommendations at eBay
• Title（参考訳）: LLMDistill4Ads: eBay の Advertiser Keyphrase Recommendations の LLM シグナルをクロスエンコーダで希釈する
• Authors: Soumik Dey, Benjamin Braun, Naveen Ravipati, Hansi Wu, Binbin Li,
• Abstract要約: 本研究では,クリックデータから埋め込みベース検索モデル(EBR)をデバイアスするLLM-judgeを用いた新しい2段階LLM蒸留プロセスを提案する。 クロスエンコーダアシスタントを介してLLM教師からマルチタスクトレーニングアプローチを用いてバイエンコーダの学生に蒸留し、最終的には学生バイエンコーダを用いて関連する広告主キーフレーズを検索する。
• 参考スコア（独自算出の注目度）: 1.4555205338313157
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Sellers at eBay are recommended keyphrases to bid on to enhance the performance of their advertising campaigns. The relevance of these keyphrases is crucial in avoiding the overcrowding of search systems with irrelevant items and maintaining a positive seller perception. It is essential that keyphrase recommendations align with both seller and Search judgments regarding auctions. Due to the difficulty in procuring negative human judgment at scale, employing LLM-as-a-judge to mimic seller judgment has been established as the norm in several studies. This study introduces a novel two-step LLM distillation process from a LLM-judge used to debias our Embedding Based Retrieval (EBR) model from the various biases that exist in click-data. We distill from an LLM teacher via a cross-encoder assistant into a bi-encoder student using a multi-task training approach, ultimately employing the student bi-encoder to retrieve relevant advertiser keyphrases. We show that integrating a knowledge distillation process from LLMs in a multi-task training setup enhances bi-encoder performance in retrieving relevant advertiser keyphrases at eBay.
• Abstract（参考訳）: eBayの売り手は、広告キャンペーンのパフォーマンスを高めるために入札するキーフレーズを推奨している。 これらのキーフレーズの関連性は、検索システムの無関係な項目による混雑を回避し、正の売り手認識を維持する上で重要である。 キーフレーズレコメンデーションは、オークションに関する販売者と検索の判断の両方に適合することが不可欠である。 LLM-as-a-judgeを売り手判断の模倣に用いた大規模人的判断の獲得が困難であったため、いくつかの研究で標準として確立されている。 本研究では, クリックデータに存在する様々なバイアスから, 埋め込みベース検索 (EBR) モデルをデバイアス化するために, LLM-judge を用いた新しい2段階 LLM 蒸留プロセスを提案する。 クロスエンコーダアシスタントを介してLLM教師からマルチタスクトレーニングアプローチを用いてバイエンコーダの学生に蒸留し、最終的には学生バイエンコーダを用いて関連する広告主キーフレーズを検索する。 マルチタスク・トレーニング・セットアップにおけるLLMからの知識蒸留プロセスの統合により,eBayにおける関連する広告主キーフレーズの検索において,バイエンコーダのパフォーマンスが向上することを示す。

関連論文リスト

• Learning from Synthetic Labs: Language Models as Auction Participants [12.007281866970485]
  本稿では, オークションの研究開発を支援するために, 新たな合成データ生成手法を提案する。 シミュレーションAIエージェント(大規模言語モデル)は,様々な古典的フォーマットのオークションにおいて,実験文献と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-07-12T00:00:30Z)
• Multi-objective Aligned Bidword Generation Model for E-commerce Search Advertising [16.8420671443003]
  検索システムは、ユーザクエリを最も関連性の高い広告とマッチングするという課題に対処する。 識別器,ジェネレータ,選好アライメントモジュールで構成される多目的整列バイドワード生成モデル(MoBGM)を提案する。 提案アルゴリズムは,オフラインおよびオンライン実験において,技術の現状を著しく上回っている。
  論文  参考訳（メタデータ） (2025-06-04T10:57:18Z)
• To Judge or not to Judge: Using LLM Judgements for Advertiser Keyphrase Relevance at eBay [1.7058804466282262]
  eコマースの売り手は、購入者のエンゲージメントを高めるため、在庫に基づいてキーワードを推奨する(クリック/セール)。 広告主キーフレーズの関連性は 検索システムの浸入を防ぐ 重要な役割を担っています 本研究は,eBay Advertisingのケーススタディを通じて,人間による判断の実用性について論じる。
  論文  参考訳（メタデータ） (2025-05-07T08:03:25Z)
• Middleman Bias in Advertising: Aligning Relevance of Keyphrase Recommendations with Search [4.275764895529604]
  本稿では,クリック/セール信号の学習関連度フィルタモデルの欠点について述べる。 我々は,2つの動的システム間の相互作用として,広告主のキーフレーズの関連性を再認識する。 本稿では,検索関連システムのバイアスと,広告主のキーワードを検索関連信号と整合させる必要性について論じる。
  論文  参考訳（メタデータ） (2025-01-31T19:28:26Z)
• Best Practices for Distilling Large Language Models into BERT for Web Search Ranking [14.550458167328497]
  LLM(Large Language Models)は、潜在的文書のランク付けリストを生成する。 LLMのランキングの専門知識をBERTのようなよりコンパクトなモデルに移行し、ランキングの損失を利用して、リソース集約の少ないモデルのデプロイを可能にします。 2024年2月現在,我々のモデルは商用ウェブ検索エンジンに統合されている。
  論文  参考訳（メタデータ） (2024-11-07T08:54:46Z)
• Efficiency Unleashed: Inference Acceleration for LLM-based Recommender Systems with Speculative Decoding [61.45448947483328]
  LLMベースのレコメンダシステム(LASER)の投機的復号化によるロスレス高速化について紹介する。 LASERは、検索効率を高めるためのカスタマイズされた検索プールと、ドラフトトークンの受け入れ率を改善するための緩和検証を備えている。 LASERは公開データセットの3～5倍のスピードアップを実現し、オンラインA/Bテスト中に約67%の計算リソースを節約する。
  論文  参考訳（メタデータ） (2024-08-11T02:31:13Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• Aligning Language Models with Demonstrated Feedback [58.834937450242975]
  Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。 我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
  論文  参考訳（メタデータ） (2024-06-02T23:13:56Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• Parrot: Enhancing Multi-Turn Instruction Following for Large Language Models [79.32652077838046]
  大規模言語モデル(LLM)のためのマルチターン命令の強化を目的としたソリューションであるParrotを紹介する。 まず,アナフォラやエリプシスなどの人間的なクエリを特徴とするマルチターン命令を効率よく,効率的に収集する手法を提案する。 第2に,マルチターンインタラクションにおける複雑なクエリに対するLLMをさらに強化する,コンテキスト対応の選好最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T08:36:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。