論文の概要: Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments
- arxiv url: http://arxiv.org/abs/2602.23234v1
- Date: Thu, 26 Feb 2026 17:11:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-27 18:41:22.807035
- Title: Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments
- Title（参考訳）: 検索関連性のスケーリング: LLM生成判断によるApp Storeランキングの強化
- Authors: Evangelia Christakopoulou, Vivekkumar Patel, Hemanth Velaga, Sandip Gaikwad,
- Abstract要約: 大規模な商用検索システムは、ユーザーが探しているものを見つけるのに役立つセッションを成功させるために、関連性を最適化する。
関連性を最大化するために、行動関連性(ユーザがクリックまたはダウンロードする傾向にある)とテキスト関連性(クエリに適合する結果の意味)という2つの相補的な目的を利用する。
永続的な課題は、豊富な行動関連ラベルに対する専門家が提供するテキスト関連ラベルの不足である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale commercial search systems optimize for relevance to drive successful sessions that help users find what they are looking for. To maximize relevance, we leverage two complementary objectives: behavioral relevance (results users tend to click or download) and textual relevance (a result's semantic fit to the query). A persistent challenge is the scarcity of expert-provided textual relevance labels relative to abundant behavioral relevance labels. We first address this by systematically evaluating LLM configurations, finding that a specialized, fine-tuned model significantly outperforms a much larger pre-trained one in providing highly relevant labels. Using this optimal model as a force multiplier, we generate millions of textual relevance labels to overcome the data scarcity. We show that augmenting our production ranker with these textual relevance labels leads to a significant outward shift of the Pareto frontier: offline NDCG improves for behavioral relevance while simultaneously increasing for textual relevance. These offline gains were validated by a worldwide A/B test on the App Store ranker, which demonstrated a statistically significant +0.24% increase in conversion rate, with the most substantial performance gains occurring in tail queries, where the new textual relevance labels provide a robust signal in the absence of reliable behavioral relevance labels.
- Abstract（参考訳）: 大規模な商用検索システムは、ユーザーが探しているものを見つけるのに役立つセッションを成功させるために、関連性を最適化する。
関連性を最大化するために、行動関連性(ユーザがクリックまたはダウンロードする傾向にある)とテキスト関連性(クエリに適合する結果の意味)という2つの相補的な目的を利用する。
永続的な課題は、豊富な行動関連ラベルに対する専門家が提供するテキスト関連ラベルの不足である。
まず、LLM構成を体系的に評価し、高度に関連性の高いラベルを提供することで、特別に調整されたモデルの方が、はるかに大きな事前学習モデルよりも優れていることを確かめる。
この最適モデルを力乗算器として使用し、数百万のテキスト関連ラベルを生成し、データの不足を克服する。
これらのテキスト関連性ラベルによる生産ランク付けによりパレートフロンティアが大幅に外向きに変化することを示し、オフラインのNDCGはテキスト関連性を高めながら行動関連性を改善する。
これらのオフラインゲインは、App Storeランキングの全世界でのA/Bテストによって検証され、統計学的に+0.24%の変換率の増加を示し、テールクエリで最も顕著なパフォーマンスゲインが発生し、新しいテキスト関連ラベルは信頼性のある行動関連ラベルのない堅牢なシグナルを提供する。
関連論文リスト
- Mine and Refine: Optimizing Graded Relevance in E-commerce Search Retrieval [3.1241290518951197]
大規模なeコマース検索要求は、長い尾のノイズの多いクエリに一般化される。
セマンティックテキスト埋め込みのための2段階の「Mine and Refine」コントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-19T18:56:36Z) - Fine-tuning Small Language Models as Efficient Enterprise Search Relevance Labelers [10.664363786682078]
そこで本稿では,SLM(small-Tune-Small Language Model)を高精度に評価する手法を提案する。
LLMを用いて、シード文書からリアルなエンタープライズクエリを合成し、BM25を用いてハードネガティブを検索し、教師のLSMを用いて関連スコアを割り当てる。
得られたデータセットはSLMに蒸留され、コンパクトなレバレンスラベルが生成される。
論文 参考訳（メタデータ） (2026-01-06T17:48:40Z) - TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework [62.66056331998838]
TeaRAGは、検索内容と推論ステップの両方を圧縮できるトークン効率のエージェントRAGフレームワークである。
報奨関数は,過剰な推論ステップをペナルティ化しながら,知識マッチング機構によって知識満足度を評価する。
論文 参考訳（メタデータ） (2025-11-07T16:08:34Z) - BiXSE: Improving Dense Retrieval via Probabilistic Graded Relevance Distillation [6.272555849379284]
BiXSE は2値のクロスエントロピーをグレードレバレンススコアより最適化するポイントワイズトレーニング手法である。
アノテーションと計算コストを削減して、強力なパフォーマンスを実現する。
BiXSEは、密度の高い検索モデルをトレーニングするための堅牢でスケーラブルな代替手段を提供する。
論文 参考訳（メタデータ） (2025-08-09T02:15:17Z) - Automated Query-Product Relevance Labeling using Large Language Models for E-commerce Search [3.392843594990172]
クエリとプロダクトのペアをアノテートするための従来のアプローチは、人間ベースのラベリングサービスに依存している。
本研究では,Large Language Models (LLMs) が,人間ラベル作成者に必要な時間とコストのごく一部で,このタスクにおける人間レベルの精度にアプローチ可能であることを示す。
この拡張性のある人間のアノテーションの代替は、情報検索領域に重大な影響を及ぼす。
論文 参考訳（メタデータ） (2025-02-21T22:59:36Z) - Exploring Structured Semantic Prior for Multi Label Recognition with
Incomplete Labels [60.675714333081466]
不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。
最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。
我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
論文 参考訳（メタデータ） (2023-03-23T12:39:20Z) - GaussianMLR: Learning Implicit Class Significance via Calibrated
Multi-Label Ranking [0.0]
本稿では,ガウスMLRという新しい多ラベルランキング手法を提案する。
これは、正のラベルのランクを決定する暗黙のクラス重要性の値を学ぶことを目的としている。
提案手法は, 組み込まれた正のランク順の表現を正確に学習できることを示す。
論文 参考訳（メタデータ） (2023-03-07T14:09:08Z) - Interaction Matching for Long-Tail Multi-Label Classification [57.262792333593644]
既存のマルチラベル分類モデルにおいて,制約に対処するためのエレガントで効果的なアプローチを提案する。
ソフトなn-gram相互作用マッチングを実行することで、ラベルと自然言語記述をマッチングする。
論文 参考訳（メタデータ） (2020-05-18T15:27:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。