論文の概要: Differentiable Fast Top-K Selection for Large-Scale Recommendation

• arxiv url: http://arxiv.org/abs/2510.11472v1
• Date: Mon, 13 Oct 2025 14:40:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.408494
• Title: Differentiable Fast Top-K Selection for Large-Scale Recommendation
• Title（参考訳）: 大規模レコメンデーションのための微分可能な高速トップK選択法
• Authors: Yanjie Zhu, Zhen Zhang, Yunli Wang, Zhiqiang Wang, Yu Li, Rufan Zhou, Shiyang Wen, Peng Jiang, Chenhao Lin, Jian Yang,
• Abstract要約: カスケードランキングは、Top-K項目選択のための大規模情報検索システムにおいて広く採用されているパラダイムである。 Top-Kオペレータは非微分可能であり、エンドツーエンドのトレーニングを妨げる。 我々は、最適な$O(n)$時間複雑性を達成する新しい微分可能なTop-K演算子であるDFTopKを提案する。
• 参考スコア（独自算出の注目度）: 32.393027548279214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cascade ranking is a widely adopted paradigm in large-scale information retrieval systems for Top-K item selection. However, the Top-K operator is non-differentiable, hindering end-to-end training. Existing methods include Learning-to-Rank approaches (e.g., LambdaLoss), which optimize ranking metrics like NDCG and suffer from objective misalignment, and differentiable sorting-based methods (e.g., ARF, LCRON), which relax permutation matrices for direct Top-K optimization but introduce gradient conflicts through matrix aggregation. A promising alternative is to directly construct a differentiable approximation of the Top-K selection operator, bypassing the use of soft permutation matrices. However, even state-of-the-art differentiable Top-K operator (e.g., LapSum) require $O(n \log n)$ complexity due to their dependence on sorting for solving the threshold. Thus, we propose DFTopK, a novel differentiable Top-K operator achieving optimal $O(n)$ time complexity. By relaxing normalization constraints, DFTopK admits a closed-form solution and avoids sorting. DFTopK also avoids the gradient conflicts inherent in differentiable sorting-based methods. We evaluate DFTopK on both the public benchmark RecFLow and an industrial system. Experimental results show that DFTopK significantly improves training efficiency while achieving superior performance, which enables us to scale up training samples more efficiently. In the online A/B test, DFTopK yielded a +1.77\% revenue lift with the same computational budget compared to the baseline. To the best of our knowledge, this work is the first to introduce differentiable Top-K operators into recommendation systems and the first to achieve theoretically optimal linear-time complexity for Top-K selection. We have open-sourced our implementation to facilitate future research in both academia and industry.
• Abstract（参考訳）: カスケードランキングは、Top-K項目選択のための大規模情報検索システムにおいて広く採用されているパラダイムである。 しかし、Top-K演算子は微分不可能であり、エンドツーエンドのトレーニングを妨げる。 既存の手法には、NDCGのようなランキングメトリクスを最適化し、客観的なミスアライメントに苦しむLearning-to-Rankアプローチ(例えばLambdaLoss)や、直接Top-K最適化のために置換行列を緩和する差別化可能なソートベースの方法(例えば、ARF、LCRON)がある。 有望な選択肢は、ソフトな置換行列の使用を回避して、Top-K選択作用素の微分可能な近似を直接構築することである。 しかし、最先端の微分可能なTop-K作用素(例えば、LapSum)でさえ、閾値を解くためのソートに依存するため、$O(n \log n)$複雑さを必要とする。 そこで本稿では、最適なO(n)$時間複雑性を実現する新しい微分可能なTop-K演算子であるDFTopKを提案する。 正規化制約を緩和することにより、DFTopKは閉形式解を認め、ソートを避ける。 DFTopKはまた、微分可能なソート法に固有の勾配の衝突を避ける。 我々は、公開ベンチマークRecFLowと産業システムの両方でDFTopKを評価した。 実験の結果, DFTopKは訓練効率を向上し, 優れた性能を実現し, より効率的にトレーニングサンプルをスケールアップできることがわかった。 オンラインA/Bテストでは、DFTopKはベースラインと同等の計算予算で+1.77\%の収益を上げている。 我々の知る限り、この研究は初めて微分可能なTop-K演算子をレコメンデーションシステムに導入し、理論上最適な線形時間複雑性をTop-K選択のために達成した最初のものである。 我々は、学術と産業の両方における将来の研究を促進するために、我々の実装をオープンソース化しました。

関連論文リスト

• Efficient Differentiable Approximation of Generalized Low-rank Regularization [64.73416824444328]
  低ランク正規化(LRR)は様々な機械学習タスクに広く応用されている。 本稿では,LRRの効率的な微分可能近似を提案する。
  論文  参考訳（メタデータ） (2025-05-21T11:49:17Z)
• LapSum - One Method to Differentiate Them All: Ranking, Sorting and Top-k Selection [10.025684286258937]
  本稿では, ソフトランキング, ソフトトップk選択, ソフト順列を含む, 微分可能な順序型演算を構築するための新しい手法を提案する。 我々のアプローチは、Laplace分布の和として定義される関数 LapSum の逆数に対する効率的な閉形式公式を利用する。
  論文  参考訳（メタデータ） (2025-03-08T14:53:36Z)
• Adaptive Neural Ranking Framework: Toward Maximized Business Goal for Cascade Ranking Systems [33.46891569350896]
  カスケードランキングは、オンライン広告とレコメンデーションシステムにおける大規模なトップk選択問題に広く使われている。 それまでの学習からランクへの取り組みは、モデルに完全な順序やトップクオーダを学習させることに重点を置いていた。 我々はこの手法をアダプティブ・ニューラルランキング・フレームワーク (Adaptive Neural Ranking Framework, ARF) と命名する。
  論文  参考訳（メタデータ） (2023-10-16T14:43:02Z)
• Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
  トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。 AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。 提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-03T11:09:13Z)
• Probabilistic Permutation Graph Search: Black-Box Optimization for Fairness in Ranking [53.94413894017409]
  本稿では、置換グラフの概念に基づいて、置換分布を表現する新しい方法を提案する。 PLと同様に、PPGと呼ばれる分布表現は、公正性のブラックボックス最適化に利用できる。
  論文  参考訳（メタデータ） (2022-04-28T20:38:34Z)
• PiRank: Learning To Rank via Differentiable Sorting [85.28916333414145]
  ランク付けのための新しい分類可能なサロゲートであるPiRankを提案する。 ピランクは所望の指標をゼロ温度の限界で正確に回収する。
  論文  参考訳（メタデータ） (2020-12-12T05:07:36Z)
• Ranking a set of objects: a graph based least-square approach [70.7866286425868]
  同一労働者の群集によるノイズの多いペアワイズ比較から始まる$N$オブジェクトのランク付けの問題について考察する。 品質評価のために,最小二乗内在的最適化基準に依存する非適応的ランキングアルゴリズムのクラスを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:19:09Z)
• Fast Differentiable Sorting and Ranking [36.40586857569459]
  我々は、最初の微分可能なソートおよびランキング演算子を$O(n log n)$ time と $O(n)$ space complexity で提案する。 この偉業は、置換の凸包であるペルムタヘドロンへの射影として微分可能作用素を構築し、等方最適化への還元を用いて達成する。
  論文  参考訳（メタデータ） (2020-02-20T17:11:09Z)
• Differentiable Top-k Operator with Optimal Transport [135.36099648554054]
  SOFTトップk演算子は、エントロピック最適輸送(EOT)問題の解として、トップk演算の出力を近似する。 提案した演算子をk-アネレスト近傍およびビーム探索アルゴリズムに適用し,性能向上を示す。
  論文  参考訳（メタデータ） (2020-02-16T04:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。