論文の概要: Unbiased Learning to Rank Meets Reality: Lessons from Baidu's Large-Scale Search Dataset
- arxiv url: http://arxiv.org/abs/2404.02543v2
- Date: Wed, 1 May 2024 13:11:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-02 17:55:26.274218
- Title: Unbiased Learning to Rank Meets Reality: Lessons from Baidu's Large-Scale Search Dataset
- Title（参考訳）: Unbiased Learning to Rankが現実に到達 - Baiduの大規模検索データセットから学んだこと
- Authors: Philipp Hager, Romain Deffayet, Jean-Michel Renders, Onno Zoeter, Maarten de Rijke,
- Abstract要約: Unbiased Learning-to-rank(ULTR)は、ユーザクリックから学習するための確立したフレームワークである。
Baidu-ULTRデータセットで利用可能な実験を再検討し、拡張する。
標準的な非バイアスの学習 to ランク技術は、クリック予測を堅牢に改善するが、ランク付け性能を一貫して改善するのに苦労している。
- 参考スコア（独自算出の注目度）: 48.708591046906896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unbiased learning-to-rank (ULTR) is a well-established framework for learning from user clicks, which are often biased by the ranker collecting the data. While theoretically justified and extensively tested in simulation, ULTR techniques lack empirical validation, especially on modern search engines. The Baidu-ULTR dataset released for the WSDM Cup 2023, collected from Baidu's search engine, offers a rare opportunity to assess the real-world performance of prominent ULTR techniques. Despite multiple submissions during the WSDM Cup 2023 and the subsequent NTCIR ULTRE-2 task, it remains unclear whether the observed improvements stem from applying ULTR or other learning techniques. In this work, we revisit and extend the available experiments on the Baidu-ULTR dataset. We find that standard unbiased learning-to-rank techniques robustly improve click predictions but struggle to consistently improve ranking performance, especially considering the stark differences obtained by choice of ranking loss and query-document features. Our experiments reveal that gains in click prediction do not necessarily translate to enhanced ranking performance on expert relevance annotations, implying that conclusions strongly depend on how success is measured in this benchmark.
- Abstract（参考訳）: Unbiased Learning-to-rank(ULTR)は、ユーザのクリックから学習するための、確立されたフレームワークである。
理論上は正当化され、シミュレーションで広範囲にテストされたが、ULTR技術は特に現代の検索エンジンでは実証的な検証を欠いている。
Baiduの検索エンジンから収集されたWSDM Cup 2023向けにリリースされたBaidu-ULTRデータセットは、著名なULTR技術の実際のパフォーマンスを評価する稀な機会を提供する。
WSDMカップ2023およびその後のNTCIR ULTRE-2タスクにおける複数の提案にもかかわらず、観察された改善がULTRや他の学習技術の適用に起因するかどうかは不明である。
本研究では,Baidu-ULTRデータセット上で利用可能な実験を再検討し,拡張する。
標準のアンバイアスド・ラーニング・ツー・ランク技術は、クリック予測を堅牢に改善するが、ランキングの損失とクエリ文書の特徴の選択によって得られる大きな違いを考えると、常にランク付け性能を改善するのに苦慮している。
提案実験により, クリック予測におけるゲインは, 専門家関連アノテーションのランク付け性能の向上に必ずしも寄与しないことが明らかとなった。
関連論文リスト
- Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。
本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
論文 参考訳（メタデータ） (2024-03-15T02:04:35Z) - TESSERACT: Eliminating Experimental Bias in Malware Classification
across Space and Time (Extended Version) [18.146377453918724]
マルウェア検知器は、常に進化するオペレーティングシステムや攻撃方法によって、しばしば性能劣化を経験する。
本論文は, 検出作業における2つの実験バイアス源により, 一般的に報告される結果が膨らんでいることを論じる。
論文 参考訳（メタデータ） (2024-02-02T12:27:32Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - Whole Page Unbiased Learning to Rank [59.52040055543542]
アンバイアスド・ラーニング・トゥ・ランク(ULTR)アルゴリズムは、バイアスド・クリックデータを用いたアンバイアスド・ランキングモデルを学ぶために提案される。
本稿では,BALというアルゴリズムをランク付けするバイアス非依存学習を提案する。
実世界のデータセットによる実験結果から,BALの有効性が検証された。
論文 参考訳（メタデータ） (2022-10-19T16:53:08Z) - A Large Scale Search Dataset for Unbiased Learning to Rank [51.97967284268577]
我々は、非バイアス学習のためのBaidu-ULTRデータセットをランク付けする。
ランダムに12億の検索セッションと7,008のエキスパートアノテートクエリをサンプリングする。
1)本来のセマンティックな特徴と,使用が容易な事前学習言語モデル,(2)位置,表示高さ,抽象表現などの十分な表示情報,(3)居住時間のような検索結果ページ(SERP)に対するリッチなユーザフィードバックを提供する。
論文 参考訳（メタデータ） (2022-07-07T02:37:25Z) - Doubly-Robust Estimation for Unbiased Learning-to-Rank from
Position-Biased Click Feedback [13.579420996461439]
IPS推定の代わりにランク毎の待遇を期待する新しいDR推定器を提案する。
我々の結果は、最適な性能で収束するためには、桁違いに少ないデータポイントを必要とすることを示唆している。
論文 参考訳（メタデータ） (2022-03-31T15:38:25Z) - ULTRA: An Unbiased Learning To Rank Algorithm Toolbox [13.296248894004652]
本稿では,Unbiased Learning to rank (ULTR)の一般的な枠組みについて述べる。
また、ULTRAでアルゴリズムを簡潔に記述し、ツールボックスの構造とパイプラインを詳述する。
ツールボックスは,異なる構成のULTRアルゴリズムの実験や,サポート対象の機能による独自のアルゴリズムのテストを行う上で,研究者にとって重要なリソースである。
論文 参考訳（メタデータ） (2021-08-11T07:26:59Z) - Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
データセットバイアスは、機械学習における不公平な原因の1つです。
不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。
また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
論文 参考訳（メタデータ） (2021-04-14T14:20:22Z) - Handling Position Bias for Unbiased Learning to Rank in Hotels Search [0.951828574518325]
本稿では,Tripadvisor Hotelsサーチにおけるオンラインテスト環境における位置バイアスを適切に扱うことの重要性について検討する。
本稿では,ユーザの行動データを完全に活用する位置バイアスを経験的に効果的に処理する方法を提案する。
オンラインA/Bテストの結果,この手法が検索ランキングモデルの改善につながることが示された。
論文 参考訳（メタデータ） (2020-02-28T03:48:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。