論文の概要: Breaking Flat: A Generalised Query Performance Prediction Evaluation Framework

• arxiv url: http://arxiv.org/abs/2601.17359v1
• Date: Sat, 24 Jan 2026 08:10:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:07.630574
• Title: Breaking Flat: A Generalised Query Performance Prediction Evaluation Framework
• Title（参考訳）: Breaking Flat: 一般的なクエリパフォーマンス予測評価フレームワーク
• Authors: Payel Santra, Partha Basuchowdhuri, Debasis Ganguly,
• Abstract要約: 本研究では、QPPタスクを一般化し、与えられたクエリに対してどのランキングモデルが最も効果的かを決定する。 以上の結果から,クエリに対する最良ランクの予測は,与えられたランクのクエリの相対的難易度を予測するよりもはるかに困難であることが示唆された。
• 参考スコア（独自算出の注目度）: 10.378957672522157
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The traditional use-case of query performance prediction (QPP) is to identify which queries perform well and which perform poorly for a given ranking model. A more fine-grained and arguably more challenging extension of this task is to determine which ranking models are most effective for a given query. In this work, we generalize the QPP task and its evaluation into three settings: (i) SingleRanker MultiQuery (SRMQ-PP), corresponding to the standard use case; (ii) MultiRanker SingleQuery (MRSQ-PP), which evaluates a QPP model's ability to select the most effective ranker for a query; and (iii) MultiRanker MultiQuery (MRMQ-PP), which considers predictions jointly across all query ranker pairs. Our results show that (a) the relative effectiveness of QPP models varies substantially across tasks (SRMQ-PP vs. MRSQ-PP), and (b) predicting the best ranker for a query is considerably more difficult than predicting the relative difficulty of queries for a given ranker.
• Abstract（参考訳）: 従来のクエリ性能予測(QPP)のユースケースは、どのクエリが正常に動作し、どのクエリが所定のランキングモデルに対して不適切なパフォーマンスを示すかを特定することである。 このタスクのよりきめ細やかで、より難しい拡張は、与えられたクエリに対してどのランキングモデルが最も効果的かを決定することである。 本研究では,QPPタスクとその評価を3つの設定に一般化する。 (i)標準のユースケースに対応するSingleRanker MultiQuery(SRMQ-PP) (ii)MultiRanker SingleQuery(MRSQ-PP)は、クエリに対して最も効果的なランク付けを選択できるQPPモデルの能力を評価する。 (iii)MultiRanker MultiQuery(MRMQ-PP)は、全てのクエリローダ対を共同で予測する。 私たちの結果は (a)QPPモデルの相対的有効性はタスク(SRMQ-PP対MSSQ-PP)によって大きく異なり、 (b) クエリの最高のランク付けを予測することは、与えられたランク付けに対するクエリの相対的困難を予測するよりも、かなり難しい。

関連論文リスト

• The benefits of query-based KGQA systems for complex and temporal questions in LLM era [55.20230501807337]
  大規模言語モデルは質問回答(QA)に優れていますが、マルチホップ推論や時間的質問には苦戦しています。 クエリベースの知識グラフ QA (KGQA) は、直接回答の代わりに実行可能なクエリを生成するモジュール形式の代替手段を提供する。 WikiData QAのためのマルチステージクエリベースのフレームワークについて検討し、課題のあるマルチホップと時間ベンチマークのパフォーマンスを向上させるマルチステージアプローチを提案する。
  論文  参考訳（メタデータ） (2025-07-16T06:41:03Z)
• Uncovering the Limitations of Query Performance Prediction: Failures, Insights, and Implications for Selective Query Processing [3.463527836552468]
  本稿では,最先端QPP(NQC,UQC)の総合評価を行う。 我々は、多様なスパースローダ(BM25、DFree、クエリ拡張なし)とハイブリッドまたは高密度(SPLADE、ColBert)と多様なテストコレクションROBUST、GOV2、WT10G、MS MARCOを使用します。 結果は予測器の精度に有意なばらつきを示し, コレクションを主要因とし, 次にランク付けを行う。
  論文  参考訳（メタデータ） (2025-04-01T18:18:21Z)
• The Surprising Effectiveness of Rankers Trained on Expanded Queries [4.874071145951159]
  我々は,他のクエリのパフォーマンスを損なうことなく,難しいクエリや難しいクエリのランク付け性能を向上させる。 我々は,クエリ毎に推定されるクエリ性能スコアとともに,特殊ランク付け器と基本ランク付け器の関連性スコアを組み合わせる。 DL-Hardデータセットを用いた実験では,クエリ性能に基づくスコアリング手法が,パスランキングタスクにおいて最大25%の大幅な改善を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-04-03T09:12:22Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いた新しいクエリ性能予測(QPP)フレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 我々は,オープンソースの大規模言語モデル (LLM) を用いて,科学的妥当性を確保することにより,項目の関連性を予測する。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• Learning to Rank Utterances for Query-Focused Meeting Summarization [0.7868449549351486]
  発話のランク付けのためのランダージェネレータフレームワークを提案する。 発話のランク付け学習は,クエリに関連する発話を効果的に選択する上で有効であることを示す。 QMSumの実験結果から,提案モデルはパラメータが少ない既存の多段階モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-22T06:25:09Z)
• Query Performance Prediction: From Ad-hoc to Conversational Search [55.37199498369387]
  クエリパフォーマンス予測(QPP)は、情報検索における中核的なタスクである。 アドホック検索におけるQPPの有効性と有用性について検討した。 その可能性にもかかわらず、会話検索のためのQPPはほとんど研究されていない。
  論文  参考訳（メタデータ） (2023-05-18T12:37:01Z)
• Electra: Conditional Generative Model based Predicate-Aware Query Approximation [10.056919500568013]
  ELECTRAは述語対応のAQPシステムで、多くの述語で分析スタイルのクエリに答えることができ、近似誤差ははるかに小さい。 実世界の3つのデータセットに対する4つの異なるベースラインによる評価の結果,ELECTRAはベースラインと比較して多数の述語に対して低いAQP誤差を提供することがわかった。
  論文  参考訳（メタデータ） (2022-01-28T21:13:26Z)
• Query Focused Multi-Document Summarization with Distant Supervision [88.39032981994535]
  既存の作業は、クエリとテキストセグメント間の関連性を推定する検索スタイルの手法に大きく依存している。 本稿では,クエリに関連するセグメントを推定するための個別モジュールを導入した粗大なモデリングフレームワークを提案する。 我々のフレームワークは、標準QFSベンチマークにおいて、強力な比較システムよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2020-04-06T22:35:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。