論文の概要: LLMs for estimating positional bias in logged interaction data

• arxiv url: http://arxiv.org/abs/2509.03696v1
• Date: Wed, 03 Sep 2025 20:26:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-05 20:21:09.965291
• Title: LLMs for estimating positional bias in logged interaction data
• Title（参考訳）: ログ化された相互作用データにおける位置バイアス推定のためのLLM
• Authors: Aleksandr V. Petrov, Michael Murtagh, Karthik Nagesh,
• Abstract要約: 大規模言語モデル(LLM)を用いた位置バイアス推定手法を提案する。 実験の結果, LLM-as-a-judge法で推定した確率は, スコアバケット間で安定であることがわかった。 IPSでトレーニングされたリランカーは、標準のNDCG@10で生産モデルと一致し、重み付けされたNDCG@10を約2%改善した。
• 参考スコア（独自算出の注目度）: 44.839172857330674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recommender and search systems commonly rely on Learning To Rank models trained on logged user interactions to order items by predicted relevance. However, such interaction data is often subject to position bias, as users are more likely to click on items that appear higher in the ranking, regardless of their actual relevance. As a result, newly trained models may inherit and reinforce the biases of prior ranking models rather than genuinely improving relevance. A standard approach to mitigate position bias is Inverse Propensity Scoring (IPS), where the model's loss is weighted by the inverse of a propensity function, an estimate of the probability that an item at a given position is examined. However, accurate propensity estimation is challenging, especially in interfaces with complex non-linear layouts. In this paper, we propose a novel method for estimating position bias using Large Language Models (LLMs) applied to logged user interaction data. This approach offers a cost-effective alternative to online experimentation. Our experiments show that propensities estimated with our LLM-as-a-judge approach are stable across score buckets and reveal the row-column effects of Viator's grid layout that simpler heuristics overlook. An IPS-weighted reranker trained with these propensities matches the production model on standard NDCG@10 while improving weighted NDCG@10 by roughly 2%. We will verify these offline gains in forthcoming live-traffic experiments.
• Abstract（参考訳）: レコメンダと検索システムは一般的に、予測された関連性によってアイテムを注文するために、ログ化されたユーザインタラクションに基づいてトレーニングされたLearning To Rankモデルに依存している。 しかしながら、これらのインタラクションデータは、実際の関連性に関係なく、ユーザーがランキングの上位に現れるアイテムをクリックしやすいため、位置バイアスを受けることが多い。 結果として、新しく訓練されたモデルは、真に関連性を改善するのではなく、以前のランキングモデルのバイアスを継承し、強化することができる。 位置バイアスを緩和するための標準的なアプローチは、モデルの損失が確率関数の逆によって重み付けされる逆不等式(IPS)であり、与えられた位置にあるアイテムが検査される確率の推定である。 しかし、特に複雑な非線形レイアウトを持つインタフェースでは、正確な確率推定は困難である。 本稿では,ログ化されたユーザインタラクションデータに適用したLarge Language Models (LLMs) を用いた位置バイアス推定手法を提案する。 このアプローチは、オンライン実験に代わる費用対効果を提供する。 実験により, LLM-as-a-judge 法で推定した確率は, スコアバケット間で安定であり, より単純なヒューリスティックスを見落として, Viator のグリッドレイアウトの行列効果を明らかにすることができた。 IPSでトレーニングされたリランカーは、標準のNDCG@10で生産モデルと一致し、重み付けされたNDCG@10を約2%改善した。 近く行われるライブトレーフ実験で、これらのオフラインの利益を検証する。

関連論文リスト

• Correcting for Position Bias in Learning to Rank: A Control Function Approach [9.986244291715762]
  本稿では,2段階プロセスにおける位置バイアスを考慮した制御関数に基づく新しい手法を提案する。 従来の位置偏差補正法とは異なり、この手法はクリックや確率モデルに関する知識を必要としない。 提案手法は位置バイアスの補正における最先端手法よりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2025-06-08T04:10:14Z)
• Variational Bayesian Personalized Ranking [39.24591060825056]
  変分的BPRは、確率最適化、ノイズ低減、人気低下を統合する、新しく実装が容易な学習目標である。 本稿では,問題サンプルからの雑音を効果的に低減するために,注目に基づく競合学習手法を提案する。 実験により、人気のあるバックボーンレコメンデーションモデルにおける変分BPRの有効性を実証する。
  論文  参考訳（メタデータ） (2025-03-14T04:22:01Z)
• Unbiased Learning to Rank with Query-Level Click Propensity Estimation: Beyond Pointwise Observation and Relevance [74.43264459255121]
  現実のシナリオでは、ユーザーは複数の関連するオプションを調べた後、1つまたは2つの結果だけをクリックします。 本稿では,ユーザが異なる検索結果リストをクリックする確率を捉えるために,クエリレベルのクリック確率モデルを提案する。 本手法では,2次元逆重み付け機構を導入し,相対飽和度と位置偏差に対処する。
  論文  参考訳（メタデータ） (2025-02-17T03:55:51Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
  我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。 CPRは、露出メカニズムを知らずに不偏の推奨を達成する。 理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
  論文  参考訳（メタデータ） (2022-04-26T09:20:27Z)
• Unbiased Pairwise Learning to Rank in Recommender Systems [4.058828240864671]
  アルゴリズムをランク付けする偏見のない学習は、候補をアピールし、既に単一の分類ラベルを持つ多くのアプリケーションに適用されている。 本稿では,この課題に対処するための新しい非バイアス付きLTRアルゴリズムを提案する。 パブリックベンチマークデータセットと内部ライブトラフィックを用いた実験結果から,分類ラベルと連続ラベルのいずれにおいても提案手法の優れた結果が得られた。
  論文  参考訳（メタデータ） (2021-11-25T06:04:59Z)
• Handling Position Bias for Unbiased Learning to Rank in Hotels Search [0.951828574518325]
  本稿では,Tripadvisor Hotelsサーチにおけるオンラインテスト環境における位置バイアスを適切に扱うことの重要性について検討する。 本稿では,ユーザの行動データを完全に活用する位置バイアスを経験的に効果的に処理する方法を提案する。 オンラインA/Bテストの結果,この手法が検索ランキングモデルの改善につながることが示された。
  論文  参考訳（メタデータ） (2020-02-28T03:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。