論文の概要: Understanding the Effects of the Baidu-ULTR Logging Policy on Two-Tower Models
- arxiv url: http://arxiv.org/abs/2409.12043v1
- Date: Wed, 18 Sep 2024 15:04:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-19 17:10:23.732193
- Title: Understanding the Effects of the Baidu-ULTR Logging Policy on Two-Tower Models
- Title（参考訳）: Baidu-ULTRロギングポリシーが2towerモデルに及ぼす影響の理解
- Authors: Morris de Haan, Philipp Hager,
- Abstract要約: 本稿では,最大規模の実世界のデータセットであるBaidu-ULTRの共起問題を調べることによって,理論と実践のギャップを埋める。
主なコントリビューションは3つある: 1) Baidu-ULTR上で共起問題の条件が与えられること、2) 共起問題は2towerモデルに有意な影響を及ぼさないこと、3) エキスパートアノテーションとユーザクリック動作の潜在的なミスマッチを指摘する。
- 参考スコア（独自算出の注目度）: 2.0180882714261568
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the popularity of the two-tower model for unbiased learning to rank (ULTR) tasks, recent work suggests that it suffers from a major limitation that could lead to its collapse in industry applications: the problem of logging policy confounding. Several potential solutions have even been proposed; however, the evaluation of these methods was mostly conducted using semi-synthetic simulation experiments. This paper bridges the gap between theory and practice by investigating the confounding problem on the largest real-world dataset, Baidu-ULTR. Our main contributions are threefold: 1) we show that the conditions for the confounding problem are given on Baidu-ULTR, 2) the confounding problem bears no significant effect on the two-tower model, and 3) we point to a potential mismatch between expert annotations, the golden standard in ULTR, and user click behavior.
- Abstract（参考訳）: アンバイアスド・ラーニング・ to・ランク(ULTR)タスクに対する2-towerモデルの人気にもかかわらず、最近の研究は、ロギングポリシーの問題点である、業界応用の崩壊につながる大きな制限に悩まされていることを示唆している。
いくつかの潜在的な解も提案されているが、これらの手法の評価は主に半合成シミュレーション実験を用いて行われた。
本稿では,最大規模の実世界のデータセットであるBaidu-ULTRの共起問題を調べることによって,理論と実践のギャップを埋める。
私たちの主な貢献は3倍です。
1) Baidu-ULTRにおいて, 共起問題の条件が与えられることを示す。
2)共起問題は,2towerモデルに有意な影響を及ぼさない。
3) 専門家アノテーション,ULTRの黄金標準,ユーザクリック動作のミスマッチを指摘する。
関連論文リスト
- Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
大規模言語モデル(LLM)は、その実践的応用でますます認識されている。
Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。
中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
論文 参考訳（メタデータ） (2024-11-09T15:12:28Z) - A Looming Replication Crisis in Evaluating Behavior in Language Models? Evidence and Solutions [15.350973327319418]
大規模言語モデル(LLM)は、ますます広範囲の日常アプリケーションに統合されている。
このことは、LLMの振る舞いの研究から得られた洞察の複製性と一般化可能性に関する懸念を提起する。
GPT-3.5, GPT-4o, Gemini 1.5 Pro, Claude 3 Opus, Llama 3-8B, Llama 3-70Bをチェーン・オブ・ソート, EmotionPrompting, ExpertPrompting, Sandbagging, Re-Reading prompt Engineering Techniqueでテストした。
論文 参考訳（メタデータ） (2024-09-30T14:00:34Z) - Generative Pre-trained Ranking Model with Over-parameterization at Web-Scale (Extended Abstract) [73.57710917145212]
ランク付け学習は、入力クエリに基づいて関連するWebページを優先順位付けするために、Web検索で広く使われている。
本稿では,これらの課題に対処するために,経験的 UlineSemi-uline Supervised ulinePre-trained (GS2P) モデルを提案する。
我々は,公開データセットと大規模検索エンジンから収集した実世界のデータセットの両方に対して,大規模なオフライン実験を行う。
論文 参考訳（メタデータ） (2024-09-25T03:39:14Z) - Unbiased Learning to Rank Meets Reality: Lessons from Baidu's Large-Scale Search Dataset [48.708591046906896]
Unbiased Learning-to-rank(ULTR)は、ユーザクリックから学習するための確立したフレームワークである。
Baidu-ULTRデータセットで利用可能な実験を再検討し、拡張する。
標準的な非バイアスの学習 to ランク技術は、クリック予測を堅牢に改善するが、ランク付け性能を一貫して改善するのに苦労している。
論文 参考訳（メタデータ） (2024-04-03T08:00:46Z) - Causal Triplet: An Open Challenge for Intervention-centric Causal
Representation Learning [98.78136504619539]
Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。
この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
論文 参考訳（メタデータ） (2023-01-12T17:43:38Z) - Towards Disentangling Relevance and Bias in Unbiased Learning to Rank [40.604145263955765]
Unbiased Learning to rank (ULTR) は、クリックのような暗黙のユーザーフィードバックデータから様々なバイアスを緩和する問題を研究している。
本稿では, 負の反響効果を緩和する3つの方法を提案する。
論文 参考訳（メタデータ） (2022-12-28T16:29:52Z) - A Large Scale Search Dataset for Unbiased Learning to Rank [51.97967284268577]
我々は、非バイアス学習のためのBaidu-ULTRデータセットをランク付けする。
ランダムに12億の検索セッションと7,008のエキスパートアノテートクエリをサンプリングする。
1)本来のセマンティックな特徴と,使用が容易な事前学習言語モデル,(2)位置,表示高さ,抽象表現などの十分な表示情報,(3)居住時間のような検索結果ページ(SERP)に対するリッチなユーザフィードバックを提供する。
論文 参考訳（メタデータ） (2022-07-07T02:37:25Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-25T13:47:09Z) - Towards Robust and Reliable Algorithmic Recourse [11.887537452826624]
モデルシフトに堅牢なリコースを見つけるための敵対的トレーニングを活用する新しいフレームワークであるRObust Algorithmic Recourse(ROAR)を提案します。
また,モデルシフトにロバストなリコースの構築の重要性を強調する詳細な理論解析を行う。
論文 参考訳（メタデータ） (2021-02-26T17:38:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。