論文の概要: Fine-tuning Small Language Models as Efficient Enterprise Search Relevance Labelers

• arxiv url: http://arxiv.org/abs/2601.03211v1
• Date: Tue, 06 Jan 2026 17:48:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:13.047882
• Title: Fine-tuning Small Language Models as Efficient Enterprise Search Relevance Labelers
• Title（参考訳）: 効率的なエンタープライズ検索レーダとしての微調整小言語モデル
• Authors: Yue Kang, Zhuoyi Huang, Benji Schussheim, Diana Licon, Dina Atia, Shixing Cao, Jacob Danovitch, Kunho Kim, Billy Norcilien, Jonah Karpman, Mahmound Sayed, Mike Taylor, Tao Sun, Pavel Metrikov, Vipul Agarwal, Chris Quirk, Ye-Yi Wang, Nick Craswell, Irene Shaffer, Tianwei Chen, Sulaiman Vesal, Soundar Srinivasan,
• Abstract要約: そこで本稿では,SLM(small-Tune-Small Language Model)を高精度に評価する手法を提案する。 LLMを用いて、シード文書からリアルなエンタープライズクエリを合成し、BM25を用いてハードネガティブを検索し、教師のLSMを用いて関連スコアを割り当てる。 得られたデータセットはSLMに蒸留され、コンパクトなレバレンスラベルが生成される。
• 参考スコア（独自算出の注目度）: 10.664363786682078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In enterprise search, building high-quality datasets at scale remains a central challenge due to the difficulty of acquiring labeled data. To resolve this challenge, we propose an efficient approach to fine-tune small language models (SLMs) for accurate relevance labeling, enabling high-throughput, domain-specific labeling comparable or even better in quality to that of state-of-the-art large language models (LLMs). To overcome the lack of high-quality and accessible datasets in the enterprise domain, our method leverages on synthetic data generation. Specifically, we employ an LLM to synthesize realistic enterprise queries from a seed document, apply BM25 to retrieve hard negatives, and use a teacher LLM to assign relevance scores. The resulting dataset is then distilled into an SLM, producing a compact relevance labeler. We evaluate our approach on a high-quality benchmark consisting of 923 enterprise query-document pairs annotated by trained human annotators, and show that the distilled SLM achieves agreement with human judgments on par with or better than the teacher LLM. Furthermore, our fine-tuned labeler substantially improves throughput, achieving 17 times increase while also being 19 times more cost-effective. This approach enables scalable and cost-effective relevance labeling for enterprise-scale retrieval applications, supporting rapid offline evaluation and iteration in real-world settings.
• Abstract（参考訳）: 企業検索では、ラベル付きデータの取得が困難であるため、高品質なデータセットを大規模に構築することは依然として中心的な課題である。 この課題を解決するために,我々は,高スループットでドメイン固有なラベル付けを,最先端の大規模言語モデル (LLM) と同等あるいはそれ以上の精度で実現し,精度の高いラベル付けを実現するための,SLM(Small-Tune) モデルを提案する。 企業領域における高品質でアクセシブルなデータセットの欠如を克服するために,本手法は合成データ生成を利用する。 具体的には、LLMを用いて、シード文書からリアルなエンタープライズクエリを合成し、BM25を用いてハードネガティブを検索し、教師のLLMを用いて関連スコアを割り当てる。 得られたデータセットはSLMに蒸留され、コンパクトなレバレンスラベルが生成される。 提案手法は,教師のLSMと同等以上の人的判断と一致していることを示すために,訓練された人間のアノテーションによって注釈付けされた923のエンタープライズクエリードキュメントペアからなる高品質なベンチマークに対するアプローチを評価した。 さらに、微調整ラベルはスループットを大幅に向上させ、17倍の高速化を実現し、コスト効率も19倍向上した。 このアプローチは,企業規模の検索アプリケーションに対して,スケーラブルで費用効率のよいレバレンスラベリングを可能にする。

関連論文リスト

• Automated Query-Product Relevance Labeling using Large Language Models for E-commerce Search [3.392843594990172]
  クエリとプロダクトのペアをアノテートするための従来のアプローチは、人間ベースのラベリングサービスに依存している。 本研究では,Large Language Models (LLMs) が,人間ラベル作成者に必要な時間とコストのごく一部で,このタスクにおける人間レベルの精度にアプローチ可能であることを示す。 この拡張性のある人間のアノテーションの代替は、情報検索領域に重大な影響を及ぼす。
  論文  参考訳（メタデータ） (2025-02-21T22:59:36Z)
• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• Best Practices for Distilling Large Language Models into BERT for Web Search Ranking [14.550458167328497]
  LLM(Large Language Models)は、潜在的文書のランク付けリストを生成する。 LLMのランキングの専門知識をBERTのようなよりコンパクトなモデルに移行し、ランキングの損失を利用して、リソース集約の少ないモデルのデプロイを可能にします。 2024年2月現在,我々のモデルは商用ウェブ検索エンジンに統合されている。
  論文  参考訳（メタデータ） (2024-11-07T08:54:46Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance [28.524573212179124]
  大きな言語モデル(LLM)は、アノテーションプロセスを強化する新しい機会を提供する。 合意、ラベルの品質、効率の観点から、専門家、クラウドソース、LLMベースのアノテーションを比較します。 以上の結果から,ラベルエラーがかなり多く,修正された場合,報告されたモデル性能が大幅に上向きに変化することが判明した。
  論文  参考訳（メタデータ） (2024-10-24T16:27:03Z)
• Zero-to-Strong Generalization: Eliciting Strong Capabilities of Large Language Models Iteratively without Gold Labels [75.77877889764073]
  大規模言語モデル(LLM)は,ゴールドラベルを用いた教師付き微調整やテキスト内学習を通じて,顕著な性能を示した。 本研究では,ラベルのないデータのみを利用することで,強力なモデル機能を実現することができるかどうかを考察する。 ゼロ・ツー・ストロング一般化と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-09-19T02:59:44Z)
• TnT-LLM: Text Mining at Scale with Large Language Models [24.731544646232962]
  大規模言語モデル(LLM)は、最小限の努力でエンドツーエンドのラベル生成と割り当てのプロセスを自動化する。 我々は,TnT-LLMが最先端のベースラインと比較した場合,より正確で関連性の高いラベルを生成することを示す。 また、現実のアプリケーションにおける大規模テキストマイニングにLLMを使うことの課題と機会に関する実践的経験と洞察を共有します。
  論文  参考訳（メタデータ） (2024-03-18T18:45:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。