論文の概要: Analysis of Multivariate Scoring Functions for Automatic Unbiased
Learning to Rank
- arxiv url: http://arxiv.org/abs/2008.09061v1
- Date: Thu, 20 Aug 2020 16:31:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 04:07:18.373325
- Title: Analysis of Multivariate Scoring Functions for Automatic Unbiased
Learning to Rank
- Title（参考訳）: ランク自動偏差学習のための多変量スコアリング関数の解析
- Authors: Tao Yang, Shikai Fang, Shibo Li, Yulan Wang, Qingyao Ai
- Abstract要約: ユーザのバイアスモデル(すなわち、確率モデル)とアンバイアスなランク付けを共同で学習するAutoULTRアルゴリズムは、性能が優れ、実際のデプロイコストが低いため、多くの注目を集めている。
近年の文脈認識型学習 to ランクモデルの進歩により,複数の文書をまとめて読み上げ,それらのランキングスコアを予測する多変量スコア関数が,人間関連ラベルを用いたランキングタスクにおいて,一変量ランキング関数よりも強力であることが示されている。
2つの大規模ベンチマークデータセットの合成クリック実験により、置換不変な多変量スコアリング機能を持つAutoULTRモデルの性能が著しく向上したことが示された。
- 参考スコア（独自算出の注目度）: 14.827143632277274
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Leveraging biased click data for optimizing learning to rank systems has been
a popular approach in information retrieval. Because click data is often noisy
and biased, a variety of methods have been proposed to construct unbiased
learning to rank (ULTR) algorithms for the learning of unbiased ranking models.
Among them, automatic unbiased learning to rank (AutoULTR) algorithms that
jointly learn user bias models (i.e., propensity models) with unbiased rankers
have received a lot of attention due to their superior performance and low
deployment cost in practice. Despite their differences in theories and
algorithm design, existing studies on ULTR usually use uni-variate ranking
functions to score each document or result independently. On the other hand,
recent advances in context-aware learning-to-rank models have shown that
multivariate scoring functions, which read multiple documents together and
predict their ranking scores jointly, are more powerful than uni-variate
ranking functions in ranking tasks with human-annotated relevance labels.
Whether such superior performance would hold in ULTR with noisy data, however,
is mostly unknown. In this paper, we investigate existing multivariate scoring
functions and AutoULTR algorithms in theory and prove that permutation
invariance is a crucial factor that determines whether a context-aware
learning-to-rank model could be applied to existing AutoULTR framework. Our
experiments with synthetic clicks on two large-scale benchmark datasets show
that AutoULTR models with permutation-invariant multivariate scoring functions
significantly outperform those with uni-variate scoring functions and
permutation-variant multivariate scoring functions.
- Abstract（参考訳）: ランク付けシステムへの学習を最適化するためにバイアス付きクリックデータを活用することは、情報検索における一般的なアプローチである。
クリックデータはしばしばノイズが多く偏りがあるため、アンバイアス付きランキングモデルの学習のためのアンバイアスド学習(ULTR)アルゴリズムを構築するための様々な方法が提案されている。
その中でも,ユーザバイアスモデル(すなわちプロペンシティモデル)と非バイアスランカを共同で学習する自動非バイアス学習(autoultr)アルゴリズムは,その優れた性能と運用コストの低さから,多くの注目を集めている。
理論とアルゴリズム設計の相違にもかかわらず、ULTRに関する既存の研究は通常、各文書や結果を独立して評価するために単変量ランク関数を使用する。
一方,近年の文脈認識学習・ランク付けモデルの進歩により,複数の文書をまとめて読み上げ,ランキングスコアを同時に予測する多変量スコア関数は,人間関連ラベルを用いたランキングタスクにおいて,一変量ランキング関数よりも強力であることが示されている。
しかし、ノイズの多いデータを持つULTRでそのような優れた性能が保たれるかどうかはほとんど不明である。
本稿では,既存の多変量評価関数とAutoULTRアルゴリズムを理論的に検討し,既存のAutoULTRフレームワークに文脈認識学習-ランクモデルを適用することができるかどうかを判断する上で,置換不変性が重要な要素であることを示す。
2つの大規模ベンチマークデータセットの合成クリック実験により、置換不変な多変量スコア関数を持つAutoULTRモデルは、単変量スコア関数と置換不変な多変量スコア関数を持つモデルよりも有意に優れていた。
関連論文リスト
- Learning Fair Ranking Policies via Differentiable Optimization of
Ordered Weighted Averages [55.04219793298687]
本稿では,学習からランクへの学習ループに,効率よく解ける公正ランキングモデルを組み込む方法について述べる。
特に,本論文は,OWA目標の制約された最適化を通じてバックプロパゲーションを行う方法を示す最初のものである。
論文 参考訳（メタデータ） (2024-02-07T20:53:53Z) - Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。
xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。
提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
論文 参考訳（メタデータ） (2023-07-27T07:42:44Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳（メタデータ） (2022-12-14T07:35:20Z) - piRank: A Probabilistic Intent Based Ranking Framework for Facebook
Search [0.07614628596146598]
本稿では,異なるクエリインテントに対する様々なランキング問題に対処するために,確率的意図に基づくランキングフレームワーク(piRank の略)を提案する。
我々は、Facebookの検索エンジンシステム上での広範な実験と研究を行い、この新しいランキングアーキテクチャの有効性を検証した。
論文 参考訳（メタデータ） (2022-03-27T18:12:56Z) - Boosting the Learning for Ranking Patterns [6.142272540492935]
本稿では,多基準意思決定問題として,パターンランキング関数の学習問題を定式化する。
本手法は,対話型学習手法を用いて,異なる興味度尺度を1つの重み付き線形ランキング関数に集約する。
良く知られたデータセットを用いて行った実験は、我々のアプローチが実行時間を著しく短縮し、正確なパターンランキングを返すことを示している。
論文 参考訳（メタデータ） (2022-03-05T10:22:44Z) - Development and Comparison of Scoring Functions in Curriculum Learning [0.0]
カリキュラム学習(英: Curriculum Learning)とは、ランダムな順序ではなく、意味のある順序で機械学習モデルにサンプルを提示することである。
本研究では,評価関数をデータセットの特徴を用いて比較し,モデルを用いて訓練し,他のモデルとそのアンサンブルバージョンを用いて比較した。
テキストデータセットのスコアリング機能に有意な差はなかったが、転送学習を用いて作成したスコアリング機能に顕著な改善が得られた。
論文 参考訳（メタデータ） (2022-02-10T21:56:56Z) - ULTRA: An Unbiased Learning To Rank Algorithm Toolbox [13.296248894004652]
本稿では,Unbiased Learning to rank (ULTR)の一般的な枠組みについて述べる。
また、ULTRAでアルゴリズムを簡潔に記述し、ツールボックスの構造とパイプラインを詳述する。
ツールボックスは,異なる構成のULTRアルゴリズムの実験や,サポート対象の機能による独自のアルゴリズムのテストを行う上で,研究者にとって重要なリソースである。
論文 参考訳（メタデータ） (2021-08-11T07:26:59Z) - Learning High-Order Interactions via Targeted Pattern Search [0.6198237241838558]
ターゲットパターン探索(LIPS)による高次インタラクションの学習という新しいアルゴリズムを提案する。
LIPSは、ロジスティック回帰モデルに含まれる様々な順序の相互作用項を選択する。
実際の研究シナリオに広く適用できることを証明し、ベンチマークの最先端のアルゴリズムを上回っていることを示しています。
論文 参考訳（メタデータ） (2021-02-23T11:13:22Z) - Robust Generalization and Safe Query-Specialization in Counterfactual
Learning to Rank [62.28965622396868]
本稿では,特徴量に基づく対実的学習手法であるgenSPECアルゴリズムについて紹介する。
以上の結果から,GENSPECは十分なクリックデータを持つクエリに対して,ほとんどあるいはノイズのないクエリに対してロバストな振る舞いを持ちながら,最適なパフォーマンスを実現することが示唆された。
論文 参考訳（メタデータ） (2021-02-11T13:17:26Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z) - PiRank: Learning To Rank via Differentiable Sorting [85.28916333414145]
ランク付けのための新しい分類可能なサロゲートであるPiRankを提案する。
ピランクは所望の指標をゼロ温度の限界で正確に回収する。
論文 参考訳（メタデータ） (2020-12-12T05:07:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。