論文の概要: QUPID: Quantified Understanding for Enhanced Performance, Insights, and Decisions in Korean Search Engines

• arxiv url: http://arxiv.org/abs/2505.07345v1
• Date: Mon, 12 May 2025 08:35:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.31682
• Title: QUPID: Quantified Understanding for Enhanced Performance, Insights, and Decisions in Korean Search Engines
• Title（参考訳）: QUPID:韓国の検索エンジンにおけるパフォーマンス、洞察、決定の定量化
• Authors: Ohjoon Kwon, Changsu Lee, Jihye Back, Lim Sun Suk, Inho Kang, Donghyeon Jeon,
• Abstract要約: 異なるアーキテクチャで2つの異なる小言語モデル(SLM)を組み合わせることで、関連性評価において大きな言語モデル(LLM)より優れていることを示す。 我々のアプローチ - QUPID -- は、生成SLMと埋め込みSLMを統合し、高い関連性判定精度を実現する。
• 参考スコア（独自算出の注目度）: 4.94507535566914
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) have been widely used for relevance assessment in information retrieval. However, our study demonstrates that combining two distinct small language models (SLMs) with different architectures can outperform LLMs in this task. Our approach -- QUPID -- integrates a generative SLM with an embedding-based SLM, achieving higher relevance judgment accuracy while reducing computational costs compared to state-of-the-art LLM solutions. This computational efficiency makes QUPID highly scalable for real-world search systems processing millions of queries daily. In experiments across diverse document types, our method demonstrated consistent performance improvements (Cohen's Kappa of 0.646 versus 0.387 for leading LLMs) while offering 60x faster inference times. Furthermore, when integrated into production search pipelines, QUPID improved nDCG@5 scores by 1.9%. These findings underscore how architectural diversity in model combinations can significantly enhance both search relevance and operational efficiency in information retrieval systems.
• Abstract（参考訳）: 大規模言語モデル (LLM) は情報検索における関連性評価に広く用いられている。 しかし,本研究は,2つの異なる小言語モデル(SLM)と異なるアーキテクチャを組み合わせることで,LLMよりも優れた性能を発揮することを示した。 我々のアプローチ - QUPID -- は、ジェネレーティブなSLMと埋め込み型SLMを統合することで、最先端のLLMソリューションと比較して計算コストを削減しつつ、高い関連性判定精度を実現する。 この計算効率により、QUPIDは現実世界の検索システムが毎日数百万のクエリを処理するのに非常にスケーラブルである。 各種文書を対象とした実験では,コーエンのKappaが0.646, 0.387, 先行LLMは0.646, 0.387) を連続的に改善し, 推算速度は60倍に向上した。 さらに、プロダクション検索パイプラインに統合されると、QUPIDはnDCG@5スコアを1.9%改善した。 これらの結果は,情報検索システムにおいて,モデル組み合わせのアーキテクチャ的多様性が検索関連性と運用効率の両方を著しく向上させることを示す。

関連論文リスト

• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• Fact, Fetch, and Reason: A Unified Evaluation of Retrieval-Augmented Generation [19.312330150540912]
  新たなアプリケーションは、Large Language Models(LLMs)を使用して、検索強化世代(RAG)機能を強化している。 FRAMESは,LLMが現実的な応答を提供する能力をテストするために設計された高品質な評価データセットである。 本稿では,最先端のLLMでもこの課題に対処し,0.40の精度で検索を行なわないことを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:52:07Z)
• Automated Commit Message Generation with Large Language Models: An Empirical Study and Beyond [24.151927600694066]
  コミットメッセージ生成(CMG)アプローチは、与えられたコード差分に基づいてコミットメッセージを自動的に生成することを目的としている。 本稿では,Large Language Models (LLMs) を用いて高品質なコミットメッセージの生成にどの程度の期間を費やしてきたかを調べるための,最初の包括的な実験を行う。
  論文  参考訳（メタデータ） (2024-04-23T08:24:43Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。