論文の概要: Non-Clicks Mean Irrelevant? Propensity Ratio Scoring As a Correction

• arxiv url: http://arxiv.org/abs/2005.08480v2
• Date: Sun, 14 Nov 2021 04:55:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 00:34:54.832552
• Title: Non-Clicks Mean Irrelevant? Propensity Ratio Scoring As a Correction
• Title（参考訳）: 非クリックで意味不明? 補正として得点する傾向比
• Authors: Nan Wang, Zhen Qin, Xuanhui Wang, Hongning Wang
• Abstract要約: Propensity Ratio Scoring (PRS)は、クリックと非クリックの両方の処理を提供する。 実験により,PRSがより効果的なクリックデータの利用を保証し,GMail検索による実世界の大規模データと合成データの両方の性能を向上させることを確認した。
• 参考スコア（独自算出の注目度）: 40.98264176722163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in unbiased learning to rank (LTR) count on Inverse Propensity Scoring (IPS) to eliminate bias in implicit feedback. Though theoretically sound in correcting the bias introduced by treating clicked documents as relevant, IPS ignores the bias caused by (implicitly) treating non-clicked ones as irrelevant. In this work, we first rigorously prove that such use of click data leads to unnecessary pairwise comparisons between relevant documents, which prevent unbiased ranker optimization. Based on the proof, we derive a simple yet well justified new weighting scheme, called Propensity Ratio Scoring (PRS), which provides treatments on both clicks and non-clicks. Besides correcting the bias in clicks, PRS avoids relevant-relevant document comparisons in LTR training and enjoys a lower variability. Our extensive empirical evaluations confirm that PRS ensures a more effective use of click data and improved performance in both synthetic data from a set of LTR benchmarks, as well as in the real-world large-scale data from GMail search.
• Abstract（参考訳）: unbiased learning to rank (ltr) count on inverse propensity scoring (ips)の最近の進歩は、暗黙的なフィードバックのバイアスを取り除く。 理論的には、クリックされた文書を関連付けることによって生じるバイアスを補正するときに聞こえるが、IPSはクリックされていない文書を(単純に)無関係に扱うことで生じるバイアスを無視する。 本研究では,まず,このようなクリックデータの使用が関係文書間の不必要なペア比較につながることを厳密に証明し,不偏なランク付け最適化を防止する。 この証明に基づき、我々は、クリックと非クリックの両方の処置を提供するprotensity ratio scoring(prs)と呼ばれる、単純で正当化された新しい重み付けスキームを導出する。 クリックのバイアスの補正に加えて、PRSはLTRトレーニングにおける関連ドキュメントの比較を回避し、より低いばらつきを享受する。 当社の広範な経験的評価により、prsはクリックデータのより効果的な利用と、ltrベンチマークによる合成データとgmail検索による実世界の大規模データの両方のパフォーマンスの向上を保証しています。

関連論文リスト

• Mitigating Spurious Correlations via Disagreement Probability [4.8884049398279705]
  経験的リスク最小化(ERM)で訓練されたモデルは、ターゲットラベルとバイアス属性の急激な相関に偏りがちである。 すべてのデータサンプルのモデル性能を堅牢に向上する訓練目標を導入する。 次に, バイアスラベルを必要としない脱バイアス法DPR(Disagreement Probability based Resampling for Debiasing)を導出する。
  論文  参考訳（メタデータ） (2024-11-04T02:44:04Z)
• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• LLMs Can Patch Up Missing Relevance Judgments in Evaluation [56.51461892988846]
  我々は、大きな言語モデル(LLM)を使って、不確定な文書を自動的にラベル付けします。 TREC DLトラックの関連性判定から関連文書をランダムにドロップすることで,穴の度合いの異なるシナリオをシミュレートする。 Vicuna-7B と GPT-3.5 Turbo の平均値に対して,Kendall tau の0.87 と 0.92 の相関式が得られた。
  論文  参考訳（メタデータ） (2024-05-08T00:32:19Z)
• FACTS: First Amplify Correlations and Then Slice to Discover Bias [17.244153084361102]
  コンピュータビジョンデータセットは、しばしばタスク関連ラベルと(学習しやすい)潜在タスク関連属性の間の急激な相関を含んでいる。 このようなデータセットでトレーニングされたモデルは、"ショートカット"を学び、相関が保たないデータのバイアス分散スライスを過小評価する。 本稿では,まず相関を増幅し,次にバイアスを識別し,下流のバイアス軽減戦略について報告する。
  論文  参考訳（メタデータ） (2023-09-29T17:41:26Z)
• Optimizing Group-Fair Plackett-Luce Ranking Models for Relevance and Ex-Post Fairness [5.349671569838342]
  学習からランクへの学習において、関連性のみを最適化することは、特定のカテゴリの項目に表現的害をもたらす可能性がある。 本稿では,与えられた表現制約を満たすランキングに対して,期待される妥当性を最大化する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-25T08:27:43Z)
• Joint Optimization of Ranking and Calibration with Contextualized Hybrid Model [24.66016187602343]
  本稿では,短時間でランキング・アンド・アビリティ(JRC)を最適化する手法を提案する。 JRCは、サンプルのロジット値を異なるラベルで対比することでランキング能力を向上し、ロジットサブトラクションの関数である予測確率を制約する。 JRCはAlibabaのディスプレイ広告プラットフォームにデプロイされており、大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2022-08-12T08:32:13Z)
• Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
  我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。 CPRは、露出メカニズムを知らずに不偏の推奨を達成する。 理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
  論文  参考訳（メタデータ） (2022-04-26T09:20:27Z)
• Doubly-Robust Estimation for Unbiased Learning-to-Rank from Position-Biased Click Feedback [13.579420996461439]
  IPS推定の代わりにランク毎の待遇を期待する新しいDR推定器を提案する。 我々の結果は、最適な性能で収束するためには、桁違いに少ないデータポイントを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2022-03-31T15:38:25Z)
• Pointwise Binary Classification with Pairwise Confidence Comparisons [97.79518780631457]
  ペアワイズ比較(Pcomp)分類を提案し、ラベルのないデータのペアしか持たない。 我々はPcomp分類をノイズラベル学習に結びつけて、進歩的UREを開発し、一貫性の正則化を課すことにより改善する。
  論文  参考訳（メタデータ） (2020-10-05T09:23:58Z)
• Taking the Counterfactual Online: Efficient and Unbiased Online Evaluation for Ranking [74.46448041224247]
  データロギングのポリシーを最適化する新しいロギング・ポリシ最適化アルゴリズム(LogOpt)を導入する。 LogOptは、ログポリシーに無関係な反ファクト的なアプローチをオンラインアプローチに変換し、アルゴリズムが表示すべきランキングを決定する。 オンライン評価手法として、LogOptは既存のインターリービング方法とは異なり、位置と項目選択バイアスに偏りがないことが証明されている。
  論文  参考訳（メタデータ） (2020-07-24T18:05:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。