論文の概要: From a Large-Scale Teacher to Efficient Multimodal Students for Search Relevance Prediction

• arxiv url: http://arxiv.org/abs/2610.16569v1
• Date: Mon, 12 Oct 2026 10:50:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 22:34:06.332056
• Title: From a Large-Scale Teacher to Efficient Multimodal Students for Search Relevance Prediction
• Title（参考訳）: 検索関連性予測のための大規模教師から効率的なマルチモーダル学生へ
• Abstract要約: 高品質なレバレンスラベルは、信頼性はあるが高価で、遅く、スケールが難しい人間による判断によって得られる。 大規模言語モデル(LLM)の最近の進歩は、人間のアノテータに匹敵する性能を達成し、大規模で自動的な関連判断を可能にする。 このギャップを埋める枠組みとして,高い性能のLCMに基づく妥当性判定システムを,効率的なマルチモーダル学生モデルに蒸留する手法を提案する。
• 参考スコア（独自算出の注目度）: 4.803685987296226
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Relevance prediction between user queries and items is a fundamental component of e-commerce search systems. Traditionally, high-quality relevance labels are obtained through human judgment, which is reliable but expensive, slow, and difficult to scale. Recent advances in large language models (LLMs) enable automated relevance judgment at scale, achieving performance comparable to human annotators. However, such systems often rely on large commercial LLMs with complex prompts, resulting in high inference costs and limited throughput. In this work, we propose a framework that bridges this gap by distilling a high-performing LLM-based relevance judgment system into efficient multimodal student models. We first curate a small, high-quality human-annotated dataset to serve as ground truth. Using this dataset, we develop a reliable LLM-as-a-judge pipeline through careful prompt engineering and iterative refinement. This pipeline is then used to generate large-scale relevance labels, which serve as training data for compact multimodal models. Our distilled models achieve performance close to the teacher system while significantly improving latency, cost, and scalability. This approach enables practical deployment of high-quality relevance prediction systems in production environments.
• Abstract（参考訳）: ユーザクエリとアイテム間の関連性予測は,eコマース検索システムの基本コンポーネントである。 伝統的に、高品質なレバレンスラベルは、信頼性はあるが高価で、遅く、スケールが難しい人間による判断によって得られる。 大規模言語モデル(LLM)の最近の進歩は、人間のアノテータに匹敵する性能を達成し、大規模で自動的な関連判断を可能にする。 しかし、そのようなシステムは複雑なプロンプトを持つ大規模な商用LLMに依存しており、高い推論コストと限られたスループットをもたらす。 本研究では,高い性能のLCMに基づく妥当性判定システムを効率的なマルチモーダル学生モデルに蒸留することにより,このギャップを埋める枠組みを提案する。 私たちはまず、人間に注釈を付けた小さなデータセットを、基礎的な真実としてキュレートします。 このデータセットを用いて, 迅速かつ反復的な改良を施し, 信頼性の高いLCM-as-a-judgeパイプラインを構築した。 このパイプラインは、コンパクトなマルチモーダルモデルのトレーニングデータとして機能する大規模な関連ラベルを生成するために使用される。 蒸留したモデルは,教師システムに近い性能を実現し,レイテンシ,コスト,スケーラビリティを著しく向上させる。 このアプローチは、生産環境における高品質な妥当性予測システムの実践的な展開を可能にする。

関連論文リスト

• TaoSearchEmb: A Multi-Objective Reinforcement Learning Framework for Dense Retrieval in Taobao Search [11.893855231479717]
  Retrieval-GRPOは強化学習に基づく高密度検索フレームワークである。 中国最大のeコマースプラットフォームに配備されている。
  論文  参考訳（メタデータ） (2025-11-17T20:16:52Z)
• Large Reasoning Embedding Models: Towards Next-Generation Dense Retrieval Paradigm [16.78399933831573]
  本稿では、推論過程を表現学習に統合するLarge Reasoning Embedding Model(LREM)を提案する。 難解なクエリに対して、LREMはまず、元のクエリの深い理解を達成するために推論を行い、その後、検索のための推論拡張クエリ埋め込みを生成する。 この推論プロセスは、元のクエリとターゲットアイテム間のセマンティックギャップを効果的にブリッジし、検索精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-10-16T05:37:39Z)
• Knowledge Distillation for Enhancing Walmart E-commerce Search Relevance Using Large Language Models [6.324684465674387]
  大規模言語モデル(LLM)は優れたランキング機能を提供しますが、高レイテンシ要求のため、リアルタイムシステムにデプロイすることは困難です。 高性能LLMをより効率的で低レイテンシの学生モデルに蒸留する新しいフレームワークを提案する。 学生モデルは、非常に肯定的な指標でWalmart.comで生産に成功している。
  論文  参考訳（メタデータ） (2025-05-11T20:00:00Z)
• Cost-Optimal Grouped-Query Attention for Long-Context Modeling [45.981681856747365]
  Grouped-Query Attention(GQA)は、大規模言語モデルにおける注目層の計算コストを削減するための広く採用されている戦略である。 我々は,文脈長,モデルサイズ,GQA構成,モデル損失の関係を分析する。 コスト最適GQA構成の導出法を提案する。
  論文  参考訳（メタデータ） (2025-03-12T17:50:42Z)
• Boosting LLM-based Relevance Modeling with Distribution-Aware Robust Learning [14.224921308101624]
  本稿では,関係モデリングのための新しい分布認識ロバスト学習フレームワーク(DaRL)を提案する。 DaRLはAlipayの保険商品検索のためにオンラインで展開されている。
  論文  参考訳（メタデータ） (2024-12-17T03:10:47Z)
• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。