論文の概要: Uncovering the Limitations of Query Performance Prediction: Failures, Insights, and Implications for Selective Query Processing

• arxiv url: http://arxiv.org/abs/2504.01101v1
• Date: Tue, 01 Apr 2025 18:18:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:23:06.344438
• Title: Uncovering the Limitations of Query Performance Prediction: Failures, Insights, and Implications for Selective Query Processing
• Title（参考訳）: クエリパフォーマンス予測の限界を明らかにする:選択的なクエリ処理の失敗、洞察、含意
• Authors: Adrian-Gabriel Chifu, Sébastien Déjean, Josiane Mothe, Moncef Garouani, Diego Ortiz, Md Zia Ullah,
• Abstract要約: 本稿では,最先端QPP(NQC,UQC)の総合評価を行う。 我々は、多様なスパースローダ(BM25、DFree、クエリ拡張なし)とハイブリッドまたは高密度(SPLADE、ColBert)と多様なテストコレクションROBUST、GOV2、WT10G、MS MARCOを使用します。 結果は予測器の精度に有意なばらつきを示し, コレクションを主要因とし, 次にランク付けを行う。
• 参考スコア（独自算出の注目度）: 3.463527836552468
• License:
• Abstract: Query Performance Prediction (QPP) estimates retrieval systems effectiveness for a given query, offering valuable insights for search effectiveness and query processing. Despite extensive research, QPPs face critical challenges in generalizing across diverse retrieval paradigms and collections. This paper provides a comprehensive evaluation of state-of-the-art QPPs (e.g. NQC, UQC), LETOR-based features, and newly explored dense-based predictors. Using diverse sparse rankers (BM25, DFree without and with query expansion) and hybrid or dense (SPLADE and ColBert) rankers and diverse test collections ROBUST, GOV2, WT10G, and MS MARCO; we investigate the relationships between predicted and actual performance, with a focus on generalization and robustness. Results show significant variability in predictors accuracy, with collections as the main factor and rankers next. Some sparse predictors perform somehow on some collections (TREC ROBUST and GOV2) but do not generalise to other collections (WT10G and MS-MARCO). While some predictors show promise in specific scenarios, their overall limitations constrain their utility for applications. We show that QPP-driven selective query processing offers only marginal gains, emphasizing the need for improved predictors that generalize across collections, align with dense retrieval architectures and are useful for downstream applications.
• Abstract（参考訳）: クエリ性能予測(QPP)は、与えられたクエリに対する検索システムの有効性を推定し、検索の有効性とクエリ処理に関する貴重な洞察を提供する。 広範な研究にもかかわらず、QPPは多様な検索パラダイムやコレクションをまたいだ一般化において重要な課題に直面している。 本稿では、最先端QPP(例えば、NQC、UQC)、LETORベースの特徴、そして新たに探索された密集型予測器について包括的に評価する。 多様なスパースローダ (BM25, DFree without and with query expansion) とハイブリッドあるいは高密度(SPLADE, ColBert) と多様なテストコレクション ROBUST, GOV2, WT10G, MS MARCO を用いて, 予測性能と実性能の関係を, 一般化とロバスト性に着目して検討した。 結果は予測器の精度に有意なばらつきを示し, コレクションを主要因とし, 次にランク付けを行う。 一部のスパース予測器は、いくつかのコレクション(TREC ROBUST と GOV2)で何らかの動作を行うが、他のコレクション(WT10G と MS-MARCO)には一般化しない。 一部の予測器は特定のシナリオでpromiseを示すが、その全体的な制限はアプリケーションに対するユーティリティを制限している。 QPPによる選択的クエリ処理は、コレクション全体にわたって一般化し、密度の高い検索アーキテクチャと整合し、下流アプリケーションに有用な予測器の改善の必要性を強調し、限界ゲインのみを提供することを示す。

関連論文リスト

• Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
  我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。 分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。 BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-09-21T18:39:53Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いたQPPフレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 これにより、生成した関連判断を擬似ラベルとして利用して、任意のIR評価尺度を予測することができる。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• iQPP: A Benchmark for Image Query Performance Prediction [24.573869540845124]
  画像クエリ性能予測(iQPP)のための最初のベンチマークを提案する。 2つの最先端画像検索モデルを用いて,各問合せの根本的難易度を平均精度または精度@kとして推定する。 次に,新しい検索前および検索後クエリ性能予測器を提案し,既存の(テキストから画像まで)予測器と比較した。 我々の総合的な実験は、iQPPは挑戦的なベンチマークであり、将来の作業で対処する必要がある重要な研究ギャップを明らかにしていることを示している。
  論文  参考訳（メタデータ） (2023-02-20T17:56:57Z)
• An end-to-end predict-then-optimize clustering method for intelligent assignment problems in express systems [11.230576737829777]
  本稿では,AOIの今後のピックアップ要求を同時に予測し,クラスタリングによりAOIをクーリエに割り当てる,インテリジェントなエンドツーエンド予測最適化クラスタリング手法を提案する。 その結果, この一段階予測最適化手法は, 最適化結果の性能向上に有効であることが示唆された。
  論文  参考訳（メタデータ） (2022-02-18T08:52:43Z)
• RnG-KBQA: Generation Augmented Iterative Ranking for Knowledge Base Question Answering [57.94658176442027]
  KBQAのランク・アンド・ジェネレートアプローチであるRnG-KBQAを提案する。 我々はGrailQA と WebQSP データセット上で,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2021-09-17T17:58:28Z)
• Complex Event Forecasting with Prediction Suffix Trees: Extended Technical Report [70.7321040534471]
  複合イベント認識(CER)システムは、イベントのリアルタイムストリーム上のパターンを"即時"検出する能力によって、過去20年間に人気が高まっている。 このような現象が実際にCERエンジンによって検出される前に、パターンがいつ発生するかを予測する方法が不足している。 複雑なイベント予測の問題に対処しようとする形式的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-01T09:52:31Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)
• Expected Improvement versus Predicted Value in Surrogate-Based Optimization [0.1529342790344802]
  サーロゲートに基づく最適化は、次にどの点を評価するかを決定するために、いわゆるインフィル基準に依存する。 期待されている改善の人気は、実証的に検証された性能よりも理論上の特性に大きく依存していると論じる。
  論文  参考訳（メタデータ） (2020-01-09T13:09:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。