論文の概要: Combining Query Performance Predictors: A Reproducibility Study

• arxiv url: http://arxiv.org/abs/2503.24251v1
• Date: Mon, 31 Mar 2025 16:01:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:32:22.884160
• Title: Combining Query Performance Predictors: A Reproducibility Study
• Title（参考訳）: クエリパフォーマンス予測器を組み合わせる - 再現性の検討
• Authors: Sourav Saha, Suchana Datta, Dwaipayan Roy, Mandar Mitra, Derek Greene,
• Abstract要約: 早ければ2009年にも、予測品質を改善するために異なるQPP手法を組み合わせることができるかどうかをHauffらは検討した。 本研究は,新たな予測手法,評価指標,データセットを照らして,Hauffらの研究結果の程度を評価するものである。
• 参考スコア（独自算出の注目度）: 6.681467202699048
• License:
• Abstract: A large number of approaches to Query Performance Prediction (QPP) have been proposed over the last two decades. As early as 2009, Hauff et al. [28] explored whether different QPP methods may be combined to improve prediction quality. Since then, significant research has been done both on QPP approaches, as well as their evaluation. This study revisits Hauff et al.s work to assess the reproducibility of their findings in the light of new prediction methods, evaluation metrics, and datasets. We expand the scope of the earlier investigation by: (i) considering post-retrieval methods, including supervised neural techniques (only pre-retrieval techniques were studied in [28]); (ii) using sMARE for evaluation, in addition to the traditional correlation coefficients and RMSE; and (iii) experimenting with additional datasets (Clueweb09B and TREC DL). Our results largely support previous claims, but we also present several interesting findings. We interpret these findings by taking a more nuanced look at the correlation between QPP methods, examining whether they capture diverse information or rely on overlapping factors.
• Abstract（参考訳）: クエリパフォーマンス予測(QPP)に対する多くのアプローチが過去20年間に提案されてきた。 早ければ2009年には、予測品質を改善するために異なるQPP手法を組み合わせることができるかどうかをHauffらは検討した。 それ以来、QPPアプローチと評価の両方において重要な研究が行われている。 本研究は,新たな予測手法,評価指標,データセットを用いて,実験結果の再現性を評価するためにHauffらの研究を再考する。 我々は、以前の調査の範囲を次のように拡大する。 (i) 教師付き神経技術を含む検索後の手法([28]では事前検索技術のみの研究)を考える。 二 従来の相関係数及びRMSEに加え、評価にsMAREを用いること。 (iii)追加データセット(Clueweb09BおよびTREC DL)の実験。 これまでの主張は概ね支持するが,興味深い結果もいくつか出ている。 本研究は,QPP法とQPP法との相関性についてより微妙な考察を行い,それらが多種多様な情報を捉えているか,重なり合う因子に依存しているかを調べることで,これらの知見を解釈する。

関連論文リスト

• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いたQPPフレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 これにより、生成した関連判断を擬似ラベルとして利用して、任意のIR評価尺度を予測することができる。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• Query Performance Prediction: From Ad-hoc to Conversational Search [55.37199498369387]
  クエリパフォーマンス予測(QPP)は、情報検索における中核的なタスクである。 アドホック検索におけるQPPの有効性と有用性について検討した。 その可能性にもかかわらず、会話検索のためのQPPはほとんど研究されていない。
  論文  参考訳（メタデータ） (2023-05-18T12:37:01Z)
• Forecast reconciliation for vaccine supply chain optimization [61.13962963550403]
  ワクチンサプライチェーン最適化は階層的な時系列予測の恩恵を受けることができる。 異なる階層レベルの予測は、上位レベルの予測が下位レベルの予測の総和と一致しないときに不整合となる。 我々は2010年から2021年にかけてのGSKの販売データを階層的時系列としてモデル化し,ワクチン販売予測問題に取り組む。
  論文  参考訳（メタデータ） (2023-05-02T14:34:34Z)
• Development and Evaluation of Conformal Prediction Methods for QSAR [0.5161531917413706]
  定量的構造活性相関モデル(QSAR)は、化合物の生物活性を予測するために一般的に用いられる手法である。 優れた予測性能を達成する機械学習(ML)アルゴリズムの多くは、予測の不確実性を推定するためのいくつかのアドオンメソッドを必要とする。 コンフォーマル予測(CP)は予測アルゴリズムに非依存であり、データ分布の弱い仮定の下で有効な予測間隔を生成できる。
  論文  参考訳（メタデータ） (2023-04-03T13:41:09Z)
• Generalization bounds and algorithms for estimating conditional average treatment effect of dosage [13.867315751451494]
  本研究では,治療薬対の条件付き平均因果効果を観測データと仮定の組み合わせで推定する作業について検討した。 これは疫学や経済学など、意思決定のために治療薬対を必要とする分野における長年にわたる課題である。 この問題に対するいくつかのベンチマークデータセットに対して、実証的に新しい最先端のパフォーマンス結果を示す。
  論文  参考訳（メタデータ） (2022-05-29T15:26:59Z)
• Insights into performance evaluation of com-pound-protein interaction prediction methods [0.0]
  複合タンパク質相互作用(CPI)の機械学習による予測は、薬物設計、スクリーニング、再資源化研究において重要である。 我々は、モデル性能の楽観的な推定に繋がる実験設計において、多くの基本的な問題を観察してきた。
  論文  参考訳（メタデータ） (2022-01-28T20:07:19Z)
• Towards a Rigorous Evaluation of Time-series Anomaly Detection [15.577148857778484]
  近年、時系列異常検出(TAD)に関する研究が、ベンチマークTADデータセット上で高いF1スコアを報告している。 ほとんどの研究は点調整(PA)と呼ばれる特異な評価プロトコルを採点前に適用している。 本稿では,PAプロトコルが検出性能を過大評価する可能性が大きいことを明らかにする。
  論文  参考訳（メタデータ） (2021-09-11T11:14:04Z)
• Reenvisioning Collaborative Filtering vs Matrix Factorization [65.74881520196762]
  近年,行列因数分解に基づく協調フィルタリングモデルや,ニューラルネットワーク(ANN)を用いた類似性の学習が注目されている。 推薦エコシステム内でのANNの発表が最近疑問視され、効率性と有効性に関していくつかの比較がなされている。 本研究では,これらの手法が相補的評価次元に与える影響を解析しながら,超精度評価にもたらす可能性を示す。
  論文  参考訳（メタデータ） (2021-07-28T16:29:38Z)
• Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
  そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。 我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。 このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
  論文  参考訳（メタデータ） (2020-10-15T16:39:26Z)
• A Survey on Causal Inference [64.45536158710014]
  因果推論は統計学、コンピュータ科学、教育、公共政策、経済学など、多くの分野において重要な研究トピックである。 観測データに対する様々な因果効果推定法が誕生した。
  論文  参考訳（メタデータ） (2020-02-05T21:35:29Z)
• Overly Optimistic Prediction Results on Imbalanced Data: a Case Study of Flaws and Benefits when Applying Over-sampling [13.463035357173045]
  データを相互に排他的なトレーニングとテストセットに分割する前にオーバーサンプリングを適用する。 この結果が,2つの人工データセットを用いて偏りを生じさせ,この欠陥が同定された研究結果を再現することを示す。
  論文  参考訳（メタデータ） (2020-01-15T12:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。