論文の概要: Unbiased Learning to Rank: Online or Offline?

• arxiv url: http://arxiv.org/abs/2004.13574v3
• Date: Wed, 2 Dec 2020 16:55:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 23:44:25.314251
• Title: Unbiased Learning to Rank: Online or Offline?
• Title（参考訳）: ランク付けの偏りのない学習: オンラインかオフラインか?
• Authors: Qingyao Ai, Tao Yang, Huazheng Wang, Jiaxin Mao
• Abstract要約: 偏りのあるユーザフィードバックでランク付けすることを学ぶことで、偏りのないランキングモデルを得る方法が、IRにとって重要な研究課題である。 既存の非バイアス付き学習のランク付けの研究は、ログデータを用いた非バイアス付き学習アルゴリズムの研究と、リアルタイムユーザインタラクションによる非バイアス付きパラメータ推定の研究という、2つのグループに大別することができる。 本稿では,非偏見学習をランク付けするタスクを形式化し,オフライン非偏見学習とオンライン学習をランク付けするための既存のアルゴリズムが,同じコインの両面にのみ存在することを示す。
• 参考スコア（独自算出の注目度）: 28.431648823968278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How to obtain an unbiased ranking model by learning to rank with biased user feedback is an important research question for IR. Existing work on unbiased learning to rank (ULTR) can be broadly categorized into two groups -- the studies on unbiased learning algorithms with logged data, namely the \textit{offline} unbiased learning, and the studies on unbiased parameters estimation with real-time user interactions, namely the \textit{online} learning to rank. While their definitions of \textit{unbiasness} are different, these two types of ULTR algorithms share the same goal -- to find the best models that rank documents based on their intrinsic relevance or utility. However, most studies on offline and online unbiased learning to rank are carried in parallel without detailed comparisons on their background theories and empirical performance. In this paper, we formalize the task of unbiased learning to rank and show that existing algorithms for offline unbiased learning and online learning to rank are just the two sides of the same coin. We evaluate six state-of-the-art ULTR algorithms and find that most of them can be used in both offline settings and online environments with or without minor modifications. Further, we analyze how different offline and online learning paradigms would affect the theoretical foundation and empirical effectiveness of each algorithm on both synthetic and real search data. Our findings could provide important insights and guideline for choosing and deploying ULTR algorithms in practice.
• Abstract（参考訳）: 偏りのあるユーザフィードバックでランク付けすることを学ぶことで、偏りのないランキングモデルを得る方法は、IRにとって重要な研究課題である。 unbiased learning to rank (ultr) に関する既存の研究は、ログ付きデータを用いた非バイアス学習アルゴリズム、すなわち \textit{offline} unbiased learning の研究と、リアルタイムユーザインタラクションによる非バイアスパラメータ推定、すなわち \textit{online} learning to rank の2つのグループに大別することができる。 定義は異なるが、これらの2種類のULTRアルゴリズムは同じ目標を共有し、本質的な関連性や有用性に基づいてドキュメントをランク付けする最良のモデルを見つける。 しかし、オフライン・オンライン・アンバイアスド・ラーニングのランク付けに関するほとんどの研究は、その背景理論と経験的性能を詳細に比較することなく、並列に行われている。 本稿では,非偏り学習の課題をランク付けし,オフライン非偏り学習とオンライン学習をランク付けするための既存のアルゴリズムが同一コインの2つの側面であることを示す。 我々は6つの最先端ultrアルゴリズムを評価し,そのほとんどがオフライン設定とオンライン環境の両方で,小さな変更を加えることなく利用可能であることを確認した。 さらに、オフラインとオンラインの学習パラダイムの違いが、合成データと実検索データの両方において、各アルゴリズムの理論的基礎と経験的効果に与える影響を分析する。 ULTRアルゴリズムを実際に選択およびデプロイするための重要な洞察とガイドラインを提供することができた。

関連論文リスト

• Contextual Dual Learning Algorithm with Listwise Distillation for Unbiased Learning to Rank [26.69630281310365]
  Unbiased Learning to Rank (ULTR)は、バイアスのないユーザのフィードバック(例えばクリック)を活用して、バイアスのないランキングモデルを最適化することを目的としている。 位置バイアスと文脈バイアスの両方に対処するため,CDLA-LD(Contextual Dual Learning Algorithm)を提案する。
  論文  参考訳（メタデータ） (2024-08-19T09:13:52Z)
• Understanding the performance gap between online and offline alignment algorithms [63.137832242488926]
  オフラインのアルゴリズムは、ペアの分類が得意になるようにポリシーを訓練し、オンラインのアルゴリズムは世代ごとに良いことを示しています。 このことは、識別能力と生成能力の間のユニークな相互作用を示唆しており、これはサンプリングプロセスに大きく影響している。 我々の研究は、AIアライメントにおけるオンラインサンプリングの重要な役割に光を当て、オフラインアライメントアルゴリズムのある種の根本的な課題を示唆している。
  論文  参考訳（メタデータ） (2024-05-14T09:12:30Z)
• Whole Page Unbiased Learning to Rank [59.52040055543542]
  アンバイアスド・ラーニング・トゥ・ランク(ULTR)アルゴリズムは、バイアスド・クリックデータを用いたアンバイアスド・ランキングモデルを学ぶために提案される。 本稿では,BALというアルゴリズムをランク付けするバイアス非依存学習を提案する。 実世界のデータセットによる実験結果から,BALの有効性が検証された。
  論文  参考訳（メタデータ） (2022-10-19T16:53:08Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• A Large Scale Search Dataset for Unbiased Learning to Rank [51.97967284268577]
  我々は、非バイアス学習のためのBaidu-ULTRデータセットをランク付けする。 ランダムに12億の検索セッションと7,008のエキスパートアノテートクエリをサンプリングする。 1)本来のセマンティックな特徴と,使用が容易な事前学習言語モデル,(2)位置,表示高さ,抽象表現などの十分な表示情報,(3)居住時間のような検索結果ページ(SERP)に対するリッチなユーザフィードバックを提供する。
  論文  参考訳（メタデータ） (2022-07-07T02:37:25Z)
• Smoothed Online Learning is as Easy as Statistical Learning [77.00766067963195]
  この設定では、最初のオラクル効率、非回帰アルゴリズムを提供する。 古典的な設定で関数クラスが学習可能な場合、文脈的包帯に対するオラクル効率のよい非回帰アルゴリズムが存在することを示す。
  論文  参考訳（メタデータ） (2022-02-09T19:22:34Z)
• Deep Policies for Online Bipartite Matching: A Reinforcement Learning Approach [5.683591363967851]
  本稿では,過去のデータに対する試行錯誤に基づく適切な対応策を導出するためのエンドツーエンド強化学習フレームワークを提案する。 学習手法の大部分は,4つの合成および実世界のデータセットにおいて,古典的なグリーディアルゴリズムよりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2021-09-21T18:04:19Z)
• ULTRA: An Unbiased Learning To Rank Algorithm Toolbox [13.296248894004652]
  本稿では,Unbiased Learning to rank (ULTR)の一般的な枠組みについて述べる。 また、ULTRAでアルゴリズムを簡潔に記述し、ツールボックスの構造とパイプラインを詳述する。 ツールボックスは,異なる構成のULTRアルゴリズムの実験や,サポート対象の機能による独自のアルゴリズムのテストを行う上で,研究者にとって重要なリソースである。
  論文  参考訳（メタデータ） (2021-08-11T07:26:59Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)
• PairRank: Online Pairwise Learning to Rank by Divide-and-Conquer [35.199462901346706]
  オンラインモデルランキングのペアワイズ学習を推定することを提案する。 各ラウンドにおいて、候補文書を分割して、推定された対位順に対するモデルの信頼度に応じてランク付けする。 オンラインソリューションの理論的収束と期待されたランキングパフォーマンスを結びつける、誤った順序付けされたペアの数で直接定義された後悔が証明される。
  論文  参考訳（メタデータ） (2021-02-28T01:16:55Z)
• Controlling Fairness and Bias in Dynamic Learning-to-Rank [31.41843594914603]
  暗黙のフィードバックデータからランキング関数を学習しながら、グループフェアネスの概念を確実にする学習アルゴリズムを提案する。 このアルゴリズムは、公平さと実用性の両方のために、偏見のない推定器を統合するコントローラの形をとっている。 厳密な理論基盤と収束保証に加えて、アルゴリズムが極めて実用的で堅牢であることが実証的に明らかになった。
  論文  参考訳（メタデータ） (2020-05-29T17:57:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。