論文の概要: Full Stage Learning to Rank: A Unified Framework for Multi-Stage Systems

• arxiv url: http://arxiv.org/abs/2405.04844v1
• Date: Wed, 08 May 2024 06:35:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 00:58:48.181599
• Title: Full Stage Learning to Rank: A Unified Framework for Multi-Stage Systems
• Title（参考訳）: Full Stage Learning to Rank: マルチステージシステムのための統一フレームワーク
• Authors: Kai Zheng, Haijun Zhao, Rui Huang, Beichuan Zhang, Na Mou, Yanan Niu, Yang Song, Hongning Wang, Kun Gai,
• Abstract要約: 我々は,多段階システム,すなわちGPRP(Generalized Probability Ranking Principle)のための改良されたランキング原理を提案する。 GPRPは、システムパイプラインの各ステージにおける選択バイアスと、ユーザの基本的な関心の両方を強調している。 我々の中核的な考え方は、まず次の段階における選択バイアスを推定し、次に下流モジュールの選択バイアスに最もよく適合するランキングモデルを学ぶことである。
• 参考スコア（独自算出の注目度）: 40.199257203898846
• License:
• Abstract: The Probability Ranking Principle (PRP) has been considered as the foundational standard in the design of information retrieval (IR) systems. The principle requires an IR module's returned list of results to be ranked with respect to the underlying user interests, so as to maximize the results' utility. Nevertheless, we point out that it is inappropriate to indiscriminately apply PRP through every stage of a contemporary IR system. Such systems contain multiple stages (e.g., retrieval, pre-ranking, ranking, and re-ranking stages, as examined in this paper). The \emph{selection bias} inherent in the model of each stage significantly influences the results that are ultimately presented to users. To address this issue, we propose an improved ranking principle for multi-stage systems, namely the Generalized Probability Ranking Principle (GPRP), to emphasize both the selection bias in each stage of the system pipeline as well as the underlying interest of users. We realize GPRP via a unified algorithmic framework named Full Stage Learning to Rank. Our core idea is to first estimate the selection bias in the subsequent stages and then learn a ranking model that best complies with the downstream modules' selection bias so as to deliver its top ranked results to the final ranked list in the system's output. We performed extensive experiment evaluations of our developed Full Stage Learning to Rank solution, using both simulations and online A/B tests in one of the leading short-video recommendation platforms. The algorithm is proved to be effective in both retrieval and ranking stages. Since deployed, the algorithm has brought consistent and significant performance gain to the platform.
• Abstract（参考訳）: Probability Ranking Principle (PRP) は情報検索(IR)システムの設計において基礎となる標準とされている。 この原則では、IRモジュールの返却された結果のリストが、結果の効用を最大化するために、基礎となるユーザの関心事に関してランク付けされる必要がある。 しかしながら、現代赤外線システムのあらゆる段階において、PRPを非差別的に適用することは不適切であると指摘する。 このようなシステムには、複数のステージ(例えば、検索、事前ランク付け、ランキング付け、再ランク付け)が含まれている。 各ステージのモデルに固有の \emph{selection bias} は、最終的にユーザに提示される結果に大きな影響を及ぼす。 この問題に対処するために,システムパイプラインの各ステージにおける選択バイアスと利用者の基本的な関心の両方を強調するために,GPRP (Generalized Probability Ranking Principle) と呼ばれる多段階システムにおいて,改良されたランキング原理を提案する。 GPRPは、Full Stage Learning to Rankという統合されたアルゴリズムフレームワークによって実現されている。 我々の中核的な考え方は、まず次の段階で選択バイアスを推定し、次に下流モジュールの選択バイアスに最もよく適合するランキングモデルを学習し、システム出力の最終ランクリストにランキング結果を提供することである。 シミュレーションとオンラインA/Bテストの両方を用いて,開発したFull Stage Learning to Rankソリューションの広範な実験評価を行った。 このアルゴリズムは,検索段階とランキング段階の両方において有効であることが証明された。 デプロイ以来、このアルゴリズムはプラットフォームに一貫性と大幅なパフォーマンス向上をもたらした。

関連論文リスト

• RankSHAP: Shapley Value Based Feature Attributions for Learning to Rank [28.438428292619577]
  我々は、機能属性コミュニティで人気がある軸論的ゲーム理論のアプローチを採用し、全てのランク付けベースの特徴属性メソッドが満足すべき基本公理のセットを特定する。 次にRang-SHAPを導入し、古典的なShapley値をランキングに拡張します。 また、既存の帰属アルゴリズムの公理解析を行い、提案した公理に準拠するかどうかを判断する。
  論文  参考訳（メタデータ） (2024-05-03T04:43:24Z)
• Learning Fair Ranking Policies via Differentiable Optimization of Ordered Weighted Averages [55.04219793298687]
  本稿では,学習からランクへの学習ループに,効率よく解ける公正ランキングモデルを組み込む方法について述べる。 特に,本論文は,OWA目標の制約された最適化を通じてバックプロパゲーションを行う方法を示す最初のものである。
  論文  参考訳（メタデータ） (2024-02-07T20:53:53Z)
• Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
  本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。 xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。 提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
  論文  参考訳（メタデータ） (2023-07-27T07:42:44Z)
• PIER: Permutation-Level Interest-Based End-to-End Re-ranking Framework in E-commerce [13.885695433738437]
  既存の再ランク付け手法は、初期ランキングリストを直接入力として取り、よく設計されたコンテキストワイズモデルによって最適な置換を生成する。 候補の順列を評価することは 現実的には 許容できない計算コストをもたらします 本稿では,これらの課題に対処するため,PIERという新しいエンドツーエンドのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-06T09:17:52Z)
• Whole Page Unbiased Learning to Rank [59.52040055543542]
  アンバイアスド・ラーニング・トゥ・ランク(ULTR)アルゴリズムは、バイアスド・クリックデータを用いたアンバイアスド・ランキングモデルを学ぶために提案される。 本稿では,BALというアルゴリズムをランク付けするバイアス非依存学習を提案する。 実世界のデータセットによる実験結果から,BALの有効性が検証された。
  論文  参考訳（メタデータ） (2022-10-19T16:53:08Z)
• Vote'n'Rank: Revision of Benchmarking with Social Choice Theory [7.224599819499157]
  本稿では,社会的選択論の原理に基づき,マルチタスクベンチマークにおけるシステムランキングの枠組みであるVote'n'Rankを提案する。 いくつかのMLサブフィールドにおいて,ベンチマークに関する新たな洞察を引き出すために,我々の手法を効率的に活用できることを実証する。
  論文  参考訳（メタデータ） (2022-10-11T20:19:11Z)
• What are the best systems? New perspectives on NLP Benchmarking [10.27421161397197]
  そこで本研究では,各タスクのパフォーマンスに基づいて,システムにランク付けする新しい手法を提案する。 社会的選択理論によって動機付けられ、各タスクによって誘導されるランクを集約することで最終システム順序付けが得られる。 本手法は, 平均集約法とは異なる, 最先端システム上での結論を導出することを示す。
  論文  参考訳（メタデータ） (2022-02-08T11:44:20Z)
• Exploration in two-stage recommender systems [79.50534282841618]
  2段階のレコメンデータシステムは、スケーラビリティと保守性のために業界で広く採用されている。 このセットアップの鍵となる課題は、各ステージの最適性能が最適なグローバルパフォーマンスを暗示していないことである。 そこで本研究では,ランクとノミネーター間の探索戦略を同期させる手法を提案する。
  論文  参考訳（メタデータ） (2020-09-01T16:52:51Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。