論文の概要: An Offline Metric for the Debiasedness of Click Models

• arxiv url: http://arxiv.org/abs/2304.09560v3
• Date: Sat, 14 Dec 2024 14:14:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:48:41.185388
• Title: An Offline Metric for the Debiasedness of Click Models
• Title（参考訳）: クリックモデルのデバイアス化のためのオフラインメトリクス
• Authors: Romain Deffayet, Philipp Hager, Jean-Michel Renders, Maarten de Rijke,
• Abstract要約: クリックモデルは、ユーザークリックから情報を抽出する一般的な方法である。 最近の研究は、コミュニティにおける現在の評価プラクティスが、良いパフォーマンスのクリックモデルが下流のタスクにうまく一般化することを保証できないことを示している。 クリックモデリングにおける偏りの概念を導入し,その測定基準を導出する。
• 参考スコア（独自算出の注目度）: 52.25681483524383
• License:
• Abstract: A well-known problem when learning from user clicks are inherent biases prevalent in the data, such as position or trust bias. Click models are a common method for extracting information from user clicks, such as document relevance in web search, or to estimate click biases for downstream applications such as counterfactual learning-to-rank, ad placement, or fair ranking. Recent work shows that the current evaluation practices in the community fail to guarantee that a well-performing click model generalizes well to downstream tasks in which the ranking distribution differs from the training distribution, i.e., under covariate shift. In this work, we propose an evaluation metric based on conditional independence testing to detect a lack of robustness to covariate shift in click models. We introduce the concept of debiasedness in click modeling and derive a metric for measuring it. In extensive semi-synthetic experiments, we show that our proposed metric helps to predict the downstream performance of click models under covariate shift and is useful in an off-policy model selection setting.
• Abstract（参考訳）: ユーザクリックから学ぶときのよく知られた問題は、位置や信頼バイアスといったデータ固有のバイアスである。 クリックモデル(Click model)は、ウェブ検索における文書の関連性などのユーザクリックから情報を抽出する一般的な方法である。 最近の研究によると、コミュニティにおける現在の評価慣行は、良質なクリックモデルが、ランク分布がトレーニング分布と異なる下流タスク、すなわち共変量シフトの下でうまく一般化することを保証できない。 本研究では, 条件付き独立性テストに基づく評価指標を提案し, クリックモデルの共変量シフトに対するロバストさの欠如を検出する。 クリックモデリングにおける偏りの概念を導入し,その測定基準を導出する。 広範な半合成実験において,提案手法は共変量シフト下でのクリックモデルの下流性能の予測に有効であり,非政治モデル選択設定に有用であることを示す。

関連論文リスト

• Unbiased Learning to Rank with Query-Level Click Propensity Estimation: Beyond Pointwise Observation and Relevance [74.43264459255121]
  現実のシナリオでは、ユーザーは複数の関連するオプションを調べた後、1つまたは2つの結果だけをクリックします。 本稿では,ユーザが異なる検索結果リストをクリックする確率を捉えるために,クエリレベルのクリック確率モデルを提案する。 本手法では,2次元逆重み付け機構を導入し,相対飽和度と位置偏差に対処する。
  論文  参考訳（メタデータ） (2025-02-17T03:55:51Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Echoes: Unsupervised Debiasing via Pseudo-bias Labeling in an Echo Chamber [17.034228910493056]
  本稿では,既存のバイアスモデルがトレーニングデータにおけるバイアス強調サンプルに過度に適合していることを明らかにする実験的検討を行った。 本研究では、バイアスモデルとターゲットモデルを異なる戦略で訓練するEchoesという、単純で効果的な手法を提案する。 提案手法は,既存の合成データセットと実世界のデータセットのベースラインと比較して,優れたデバイアス化結果が得られる。
  論文  参考訳（メタデータ） (2023-05-06T13:13:18Z)
• Spuriosity Rankings: Sorting Data to Measure and Mitigate Biases [62.54519787811138]
  本稿では,突発的手がかりに依存したモデルバイアスを簡易かつ効果的に測定・緩和する手法を提案する。 我々は,解釈可能なネットワークの深部神経的特徴をベースとして,それらのクラス内の画像のランク付けを行う。 以上の結果から,素早い特徴依存によるモデルバイアスは,モデルがどのようにトレーニングされたかよりも,モデルがトレーニングされていることの影響がはるかに大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-05T23:15:43Z)
• Canary in a Coalmine: Better Membership Inference with Ensembled Adversarial Queries [53.222218035435006]
  私たちは、差別的で多様なクエリを最適化するために、逆ツールを使用します。 我々の改善は既存の方法よりもはるかに正確な会員推定を実現している。
  論文  参考訳（メタデータ） (2022-10-19T17:46:50Z)
• Evaluating Predictive Uncertainty and Robustness to Distributional Shift Using Real World Data [0.0]
  シフト天気予報データセットを用いて、一般的な回帰作業のためのメトリクスを提案する。 また,これらの指標を用いたベースライン手法の評価を行った。
  論文  参考訳（メタデータ） (2021-11-08T17:32:10Z)
• Handling Position Bias for Unbiased Learning to Rank in Hotels Search [0.951828574518325]
  本稿では,Tripadvisor Hotelsサーチにおけるオンラインテスト環境における位置バイアスを適切に扱うことの重要性について検討する。 本稿では,ユーザの行動データを完全に活用する位置バイアスを経験的に効果的に処理する方法を提案する。 オンラインA/Bテストの結果,この手法が検索ランキングモデルの改善につながることが示された。
  論文  参考訳（メタデータ） (2020-02-28T03:48:42Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• Eliminating Search Intent Bias in Learning to Rank [0.32228025627337864]
  ユーザ検索意図の違いがクリック行動にどのように影響するかを調べた結果,ユーザ検索意図と文書関連性との間にはバイアスがあることが判明した。 本稿では,既存のほとんどのクリックモデルに適用可能な探索意図バイアス仮説を提案する。
  論文  参考訳（メタデータ） (2020-02-08T17:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。