論文の概要: Unbiased Learning to Rank Meets Reality: Lessons from Baidu's Large-Scale Search Dataset
- arxiv url: http://arxiv.org/abs/2404.02543v1
- Date: Wed, 3 Apr 2024 08:00:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 18:10:13.048843
- Title: Unbiased Learning to Rank Meets Reality: Lessons from Baidu's Large-Scale Search Dataset
- Title（参考訳）: Unbiased Learning to Rankが現実に到達 - Baiduの大規模検索データセットから学んだこと
- Authors: Philipp Hager, Romain Deffayet, Jean-Michel Renders, Onno Zoeter, Maarten de Rijke,
- Abstract要約: Unbiased Learning-to-rank(ULTR)は、ユーザのクリックから学習するための、確立されたフレームワークである。
Baiduの検索エンジンから収集されたWSDM Cup 2023用のデータセットは、著名なULTR技術の実際のパフォーマンスを評価する稀な機会を提供する。
特にランキング損失とクエリドキュメント機能の選択によって生じる相違点に比較して,非バイアスの学習 to ランク技術ではパフォーマンスが向上しないことがわかった。
- 参考スコア（独自算出の注目度）: 48.708591046906896
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Unbiased learning-to-rank (ULTR) is a well-established framework for learning from user clicks, which are often biased by the ranker collecting the data. While theoretically justified and extensively tested in simulation, ULTR techniques lack empirical validation, especially on modern search engines. The dataset released for the WSDM Cup 2023, collected from Baidu's search engine, offers a rare opportunity to assess the real-world performance of prominent ULTR techniques. Despite multiple submissions during the WSDM Cup 2023 and the subsequent NTCIR ULTRE-2 task, it remains unclear whether the observed improvements stem from applying ULTR or other learning techniques. We revisit and extend the available experiments. We find that unbiased learning-to-rank techniques do not bring clear performance improvements, especially compared to the stark differences brought by the choice of ranking loss and query-document features. Our experiments reveal that ULTR robustly improves click prediction. However, these gains in click prediction do not translate to enhanced ranking performance on expert relevance annotations, implying that conclusions strongly depend on how success is measured in this benchmark.
- Abstract（参考訳）: Unbiased Learning-to-rank(ULTR)は、ユーザのクリックから学習するための、確立されたフレームワークである。
理論上は正当化され、シミュレーションで広範囲にテストされたが、ULTR技術は特に現代の検索エンジンでは実証的な検証を欠いている。
Baiduの検索エンジンから収集されたWSDM Cup 2023用のデータセットは、著名なULTR技術の実際のパフォーマンスを評価する稀な機会を提供する。
WSDMカップ2023およびその後のNTCIR ULTRE-2タスクにおける複数の提案にもかかわらず、観察された改善がULTRや他の学習技術の適用に起因するかどうかは不明である。
利用可能な実験を再検討し、拡張する。
特にランキング損失とクエリドキュメント機能の選択によって生じる相違点に比較して,非バイアスの学習 to ランク技術ではパフォーマンスが向上しないことがわかった。
実験の結果,ULTRはクリック予測を頑健に改善することがわかった。
しかし、これらのクリック予測の上昇は、専門家の関連アノテーションのランク付け性能の向上には寄与しない。
関連論文リスト
- Contextual Dual Learning Algorithm with Listwise Distillation for Unbiased Learning to Rank [26.69630281310365]
Unbiased Learning to Rank (ULTR)は、バイアスのないユーザのフィードバック(例えばクリック)を活用して、バイアスのないランキングモデルを最適化することを目的としている。
位置バイアスと文脈バイアスの両方に対処するため,CDLA-LD(Contextual Dual Learning Algorithm)を提案する。
論文 参考訳（メタデータ） (2024-08-19T09:13:52Z) - Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。
本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
論文 参考訳（メタデータ） (2024-03-15T02:04:35Z) - TESSERACT: Eliminating Experimental Bias in Malware Classification
across Space and Time (Extended Version) [18.146377453918724]
マルウェア検知器は、常に進化するオペレーティングシステムや攻撃方法によって、しばしば性能劣化を経験する。
本論文は, 検出作業における2つの実験バイアス源により, 一般的に報告される結果が膨らんでいることを論じる。
論文 参考訳（メタデータ） (2024-02-02T12:27:32Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - Whole Page Unbiased Learning to Rank [59.52040055543542]
アンバイアスド・ラーニング・トゥ・ランク(ULTR)アルゴリズムは、バイアスド・クリックデータを用いたアンバイアスド・ランキングモデルを学ぶために提案される。
本稿では,BALというアルゴリズムをランク付けするバイアス非依存学習を提案する。
実世界のデータセットによる実験結果から,BALの有効性が検証された。
論文 参考訳（メタデータ） (2022-10-19T16:53:08Z) - A Large Scale Search Dataset for Unbiased Learning to Rank [51.97967284268577]
我々は、非バイアス学習のためのBaidu-ULTRデータセットをランク付けする。
ランダムに12億の検索セッションと7,008のエキスパートアノテートクエリをサンプリングする。
1)本来のセマンティックな特徴と,使用が容易な事前学習言語モデル,(2)位置,表示高さ,抽象表現などの十分な表示情報,(3)居住時間のような検索結果ページ(SERP)に対するリッチなユーザフィードバックを提供する。
論文 参考訳（メタデータ） (2022-07-07T02:37:25Z) - ULTRA: An Unbiased Learning To Rank Algorithm Toolbox [13.296248894004652]
本稿では,Unbiased Learning to rank (ULTR)の一般的な枠組みについて述べる。
また、ULTRAでアルゴリズムを簡潔に記述し、ツールボックスの構造とパイプラインを詳述する。
ツールボックスは,異なる構成のULTRアルゴリズムの実験や,サポート対象の機能による独自のアルゴリズムのテストを行う上で,研究者にとって重要なリソースである。
論文 参考訳（メタデータ） (2021-08-11T07:26:59Z) - Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
データセットバイアスは、機械学習における不公平な原因の1つです。
不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。
また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
論文 参考訳（メタデータ） (2021-04-14T14:20:22Z) - Handling Position Bias for Unbiased Learning to Rank in Hotels Search [0.951828574518325]
本稿では,Tripadvisor Hotelsサーチにおけるオンラインテスト環境における位置バイアスを適切に扱うことの重要性について検討する。
本稿では,ユーザの行動データを完全に活用する位置バイアスを経験的に効果的に処理する方法を提案する。
オンラインA/Bテストの結果,この手法が検索ランキングモデルの改善につながることが示された。
論文 参考訳（メタデータ） (2020-02-28T03:48:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。