論文の概要: Joint Optimization of Relevance and Engagement in Multi-Task Ranking for E-Commerce with Efficient LLM Supervision
- arxiv url: http://arxiv.org/abs/2605.27704v1
- Date: Tue, 26 May 2026 21:26:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.532112
- Title: Joint Optimization of Relevance and Engagement in Multi-Task Ranking for E-Commerce with Efficient LLM Supervision
- Title（参考訳）: 効率的なLCMスーパービジョンを用いた電子商取引におけるマルチタスクランク付けにおける妥当性とエンゲージメントの同時最適化
- Authors: Luming Chen, Jiaqi Xi, Raghav Saboo, Kenny Chi, Martin Wang, Sudeep Das, Danny Nightingale, Aditya Dodda, Elyse Winer, Akshad Viswanathan,
- Abstract要約: 本稿では,セマンティックな妥当性を主目的とするマルチタスクランキングシステムを提案する。
我々のアーキテクチャでは、関係しきい値よりも累積確率を予測する順序関係ヘッドを採用している。
我々のアプローチは、コアエンゲージメントの目標を維持しながらセマンティックアライメントを大幅に改善する。
- 参考スコア（独自算出の注目度）: 2.510555578533785
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimizing industrial search ranking models solely for user engagement signals often introduces systematic biases, prioritizing popular or price-anchored items that may not satisfy semantic intent. We present a production-scale multi-task ranking system that integrates semantic relevance as a primary optimization objective, enabling explicit and controllable relevance-engagement trade-offs. Our architecture employs an ordinal relevance head that predicts cumulative probabilities over relevance thresholds, preserving the inherent ordering of labels. These outputs are integrated with engagement heads through a unified value model scoring function, enabling systematic balancing of semantic quality and short-term behavioral signals. To provide high-quality supervision for this multi-task framework, we utilize fine-tuned lightweight Large Language Models (LLMs) to generate three-level ordinal relevance labels: irrelevant, moderately relevant, and highly relevant. We address challenges regarding label distribution sensitivity and ensure high alignment with human annotations to enable efficient labeling for over 100 million query-item pairs. Evaluation across offline metrics, including NDCG@10, and online A/B experiments demonstrates that our approach significantly improves semantic alignment while preserving core engagement objectives.
- Abstract（参考訳）: ユーザエンゲージメント信号のみを対象とした産業検索ランキングモデルの最適化は、しばしば体系的なバイアスを導入し、セマンティックな意図を満たさないような人気または価格順応的な項目を優先順位付けする。
本稿では,セマンティック・レバタンスを主目的として統合し,明示的かつ制御可能なレバタンス・エンゲージメント・トレードオフを実現する,プロダクションスケールのマルチタスク・ランキングシステムを提案する。
我々のアーキテクチャでは、関係しきい値よりも累積確率を予測し、ラベルの固有の順序を保った順序関係ヘッドを採用している。
これらの出力は、統合された値モデルスコアリング機能を通じてエンゲージメントヘッドと統合され、セマンティックな品質と短期的な行動信号の体系的なバランスを可能にする。
このマルチタスクフレームワークの高品質な監視を実現するため、細調整された軽量大言語モデル(LLM)を用いて、3段階の順序関連ラベルを生成する。
ラベル分布の感度に関する課題に対処し、1億以上のクエリとイタムのペアに対して効率的なラベル付けを可能にするために、人間のアノテーションとの高整合性を確保する。
NDCG@10やオンラインA/B実験を含むオフラインメトリクスによる評価は、我々のアプローチがコアエンゲージメントの目標を維持しながらセマンティックアライメントを著しく改善していることを示している。
関連論文リスト
- Breaking User-Centric Agency: A Tri-Party Framework for Agent-Based Recommendation [59.362016745945375]
第1回LLM-Adnt Recommendation framework(TriRec)を提案する。
TriRecは、ユーザユーティリティ、アイテム露出、プラットフォームレベルの公正性を明示的に調整する。
精度、公平性、およびアイテムレベルのユーティリティにおいて、一貫した利得を示す。
論文 参考訳（メタデータ） (2026-03-11T11:40:13Z) - Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments [0.0]
大規模な商用検索システムは、ユーザーが探しているものを見つけるのに役立つセッションを成功させるために、関連性を最適化する。
関連性を最大化するために、行動関連性(ユーザがクリックまたはダウンロードする傾向にある)とテキスト関連性(クエリに適合する結果の意味)という2つの相補的な目的を利用する。
永続的な課題は、豊富な行動関連ラベルに対する専門家が提供するテキスト関連ラベルの不足である。
論文 参考訳（メタデータ） (2026-02-26T17:11:26Z) - MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。
我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。
本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
論文 参考訳（メタデータ） (2026-01-12T05:02:48Z) - TaoSR1: The Thinking Model for E-commerce Relevance Search [15.137901457184839]
BERTベースのモデルはセマンティックマッチングが優れているが、複雑な推論能力がない。
本稿では,このタスクのために大規模言語モデルを直接デプロイするフレームワークを提案する。このフレームワークは,CoT(Chain-of-Thought)エラーの蓄積,差別的幻覚,デプロイメント実現可能性など,主要な課題に対処する。
筆者らのフレームワークであるTaoSR1は,(1)CoTを用いた教師付ファインチューニング(SFT),(2)パス@N戦略によるオフラインサンプリングとDPOによる生成品質向上,(3)グループ相対政策最適化(GRPO)による難易度に基づく動的サンプリングの3段階からなる。
論文 参考訳（メタデータ） (2025-08-17T13:48:48Z) - Balancing Semantic Relevance and Engagement in Related Video Recommendations [21.2575040646784]
関連ビデオレコメンデーションでは、協調フィルタリング(CF)をコエンゲージメント信号で駆動するのが一般的である。
本稿では,意味的関連性とユーザエンゲージメントのバランスをとるために,新しい多目的検索フレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-12T21:04:25Z) - Multi-Level Aware Preference Learning: Enhancing RLHF for Complex Multi-Instruction Tasks [81.44256822500257]
RLHFは、人工知能システムと人間の好みを結びつける主要なアプローチとして登場した。
RLHFは、複雑なマルチインストラクションタスクに直面すると、不十分なコンプライアンス機能を示す。
本稿では,マルチインストラクション能力を向上させる新しいMAPL(Multi-level Aware Preference Learning)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-19T08:33:11Z) - In-context Ranking Preference Optimization [65.5489745857577]
In-context Ranking Preference Optimization (IRPO) フレームワークを提案する。
IRPOは標準のDPO手法よりも高い性能を示し、LLMと直接文脈内ランキング設定の整合性を強調した。
論文 参考訳（メタデータ） (2025-04-21T23:06:12Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z) - Unleash LLMs Potential for Recommendation by Coordinating Twin-Tower Dynamic Semantic Token Generator [60.07198935747619]
動的セマンティック・インデックス・パラダイムを採用した最初の生成型RSであるTTDS(Twin-Tower Dynamic Semantic Recommender)を提案する。
より具体的には、ツイン・トワー・セマンティック・トークン・ジェネレータをLLMベースのレコメンデータに統合する動的知識融合フレームワークを初めて提案する。
提案したTTDSレコメンデータは,平均19.41%のヒットレート,20.84%のNDCG測定値を実現している。
論文 参考訳（メタデータ） (2024-09-14T01:45:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。