論文の概要: Non-Clicks Mean Irrelevant? Propensity Ratio Scoring As a Correction
- arxiv url: http://arxiv.org/abs/2005.08480v2
- Date: Sun, 14 Nov 2021 04:55:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 00:34:54.832552
- Title: Non-Clicks Mean Irrelevant? Propensity Ratio Scoring As a Correction
- Title(参考訳): 非クリックで意味不明?
補正として得点する傾向比
- Authors: Nan Wang, Zhen Qin, Xuanhui Wang, Hongning Wang
- Abstract要約: Propensity Ratio Scoring (PRS)は、クリックと非クリックの両方の処理を提供する。
実験により,PRSがより効果的なクリックデータの利用を保証し,GMail検索による実世界の大規模データと合成データの両方の性能を向上させることを確認した。
- 参考スコア(独自算出の注目度): 40.98264176722163
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in unbiased learning to rank (LTR) count on Inverse
Propensity Scoring (IPS) to eliminate bias in implicit feedback. Though
theoretically sound in correcting the bias introduced by treating clicked
documents as relevant, IPS ignores the bias caused by (implicitly) treating
non-clicked ones as irrelevant. In this work, we first rigorously prove that
such use of click data leads to unnecessary pairwise comparisons between
relevant documents, which prevent unbiased ranker optimization. Based on the
proof, we derive a simple yet well justified new weighting scheme, called
Propensity Ratio Scoring (PRS), which provides treatments on both clicks and
non-clicks. Besides correcting the bias in clicks, PRS avoids relevant-relevant
document comparisons in LTR training and enjoys a lower variability. Our
extensive empirical evaluations confirm that PRS ensures a more effective use
of click data and improved performance in both synthetic data from a set of LTR
benchmarks, as well as in the real-world large-scale data from GMail search.
- Abstract(参考訳): unbiased learning to rank (ltr) count on inverse propensity scoring (ips)の最近の進歩は、暗黙的なフィードバックのバイアスを取り除く。
理論的には、クリックされた文書を関連付けることによって生じるバイアスを補正するときに聞こえるが、IPSはクリックされていない文書を(単純に)無関係に扱うことで生じるバイアスを無視する。
本研究では,まず,このようなクリックデータの使用が関係文書間の不必要なペア比較につながることを厳密に証明し,不偏なランク付け最適化を防止する。
この証明に基づき、我々は、クリックと非クリックの両方の処置を提供するprotensity ratio scoring(prs)と呼ばれる、単純で正当化された新しい重み付けスキームを導出する。
クリックのバイアスの補正に加えて、PRSはLTRトレーニングにおける関連ドキュメントの比較を回避し、より低いばらつきを享受する。
当社の広範な経験的評価により、prsはクリックデータのより効果的な利用と、ltrベンチマークによる合成データとgmail検索による実世界の大規模データの両方のパフォーマンスの向上を保証しています。
関連論文リスト
- CLIP the Bias: How Useful is Balancing Data in Multimodal Learning? [72.19502317793133]
比較言語画像事前学習(CLIP)におけるバイアス軽減のためのデータバランスの有効性について検討する。
表現バイアスと相関バイアスの両方を低減するために,Multi-Modal Moment Matching (M4) と呼ばれる新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-03-07T14:43:17Z) - FACTS: First Amplify Correlations and Then Slice to Discover Bias [17.244153084361102]
コンピュータビジョンデータセットは、しばしばタスク関連ラベルと(学習しやすい)潜在タスク関連属性の間の急激な相関を含んでいる。
このようなデータセットでトレーニングされたモデルは、"ショートカット"を学び、相関が保たないデータのバイアス分散スライスを過小評価する。
本稿では,まず相関を増幅し,次にバイアスを識別し,下流のバイアス軽減戦略について報告する。
論文 参考訳(メタデータ) (2023-09-29T17:41:26Z) - Optimizing Group-Fair Plackett-Luce Ranking Models for Relevance and
Ex-Post Fairness [5.349671569838342]
学習からランクへの学習において、関連性のみを最適化することは、特定のカテゴリの項目に表現的害をもたらす可能性がある。
本稿では,与えられた表現制約を満たすランキングに対して,期待される妥当性を最大化する新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-08-25T08:27:43Z) - Towards Disentangling Relevance and Bias in Unbiased Learning to Rank [40.604145263955765]
Unbiased Learning to rank (ULTR) は、クリックのような暗黙のユーザーフィードバックデータから様々なバイアスを緩和する問題を研究している。
本稿では, 負の反響効果を緩和する3つの方法を提案する。
論文 参考訳(メタデータ) (2022-12-28T16:29:52Z) - Joint Optimization of Ranking and Calibration with Contextualized Hybrid
Model [24.66016187602343]
本稿では,短時間でランキング・アンド・アビリティ(JRC)を最適化する手法を提案する。
JRCは、サンプルのロジット値を異なるラベルで対比することでランキング能力を向上し、ロジットサブトラクションの関数である予測確率を制約する。
JRCはAlibabaのディスプレイ広告プラットフォームにデプロイされており、大幅なパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2022-08-12T08:32:13Z) - Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。
CPRは、露出メカニズムを知らずに不偏の推奨を達成する。
理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
論文 参考訳(メタデータ) (2022-04-26T09:20:27Z) - Doubly-Robust Estimation for Unbiased Learning-to-Rank from
Position-Biased Click Feedback [13.579420996461439]
IPS推定の代わりにランク毎の待遇を期待する新しいDR推定器を提案する。
我々の結果は、最適な性能で収束するためには、桁違いに少ないデータポイントを必要とすることを示唆している。
論文 参考訳(メタデータ) (2022-03-31T15:38:25Z) - Evaluating Large-Vocabulary Object Detectors: The Devil is in the
Details [107.2722027807328]
我々は、APのデフォルト実装はカテゴリー独立ではなく、適切に校正された検出器を直接報酬するものではないことを発見した。
既定の実装ではゲーム可能なメトリックが生成され、単純で非合理的な再ランクポリシーがAPを大きなマージンで改善できることが示される。
我々は,近年の大規模語彙検出の進歩をベンチマークし,新たなクラスごとの独立性評価において,多くの報告された利益が改善に結びついていないことを発見した。
論文 参考訳(メタデータ) (2021-02-01T18:56:02Z) - Pointwise Binary Classification with Pairwise Confidence Comparisons [97.79518780631457]
ペアワイズ比較(Pcomp)分類を提案し、ラベルのないデータのペアしか持たない。
我々はPcomp分類をノイズラベル学習に結びつけて、進歩的UREを開発し、一貫性の正則化を課すことにより改善する。
論文 参考訳(メタデータ) (2020-10-05T09:23:58Z) - Taking the Counterfactual Online: Efficient and Unbiased Online
Evaluation for Ranking [74.46448041224247]
データロギングのポリシーを最適化する新しいロギング・ポリシ最適化アルゴリズム(LogOpt)を導入する。
LogOptは、ログポリシーに無関係な反ファクト的なアプローチをオンラインアプローチに変換し、アルゴリズムが表示すべきランキングを決定する。
オンライン評価手法として、LogOptは既存のインターリービング方法とは異なり、位置と項目選択バイアスに偏りがないことが証明されている。
論文 参考訳(メタデータ) (2020-07-24T18:05:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。