論文の概要: Deep Retrieval: Learning A Retrievable Structure for Large-Scale Recommendations

• arxiv url: http://arxiv.org/abs/2007.07203v2
• Date: Tue, 18 May 2021 05:45:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 05:49:55.749350
• Title: Deep Retrieval: Learning A Retrievable Structure for Large-Scale Recommendations
• Title（参考訳）: Deep Retrieval: 大規模レコメンデーションのための検索可能な構造を学ぶ
• Authors: Weihao Gao, Xiangjun Fan, Chong Wang, Jiankai Sun, Kai Jia, Wenzhi Xiao, Ruofan Ding, Xingyan Bin, Hui Yang, Xiaobing Liu
• Abstract要約: 本稿では,ユーザとイテムのインタラクションデータを用いて,検索可能な構造を直接学習するために,Deep Retrieval(DR)を提案する。 DRは、産業レコメンデーションシステムのために数億のアイテムをスケールで展開した最初の非ANNアルゴリズムの1つである。
• 参考スコア（独自算出の注目度）: 21.68175843347951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the core problems in large-scale recommendations is to retrieve top relevant candidates accurately and efficiently, preferably in sub-linear time. Previous approaches are mostly based on a two-step procedure: first learn an inner-product model, and then use some approximate nearest neighbor (ANN) search algorithm to find top candidates. In this paper, we present Deep Retrieval (DR), to learn a retrievable structure directly with user-item interaction data (e.g. clicks) without resorting to the Euclidean space assumption in ANN algorithms. DR's structure encodes all candidate items into a discrete latent space. Those latent codes for the candidates are model parameters and learnt together with other neural network parameters to maximize the same objective function. With the model learnt, a beam search over the structure is performed to retrieve the top candidates for reranking. Empirically, we first demonstrate that DR, with sub-linear computational complexity, can achieve almost the same accuracy as the brute-force baseline on two public datasets. Moreover, we show that, in a live production recommendation system, a deployed DR approach significantly outperforms a well-tuned ANN baseline in terms of engagement metrics. To the best of our knowledge, DR is among the first non-ANN algorithms successfully deployed at the scale of hundreds of millions of items for industrial recommendation systems.
• Abstract（参考訳）: 大規模レコメンデーションにおける中核的な問題は、重要候補を正確かつ効率的に、好ましくは準線形時間で検索することである。 先進的なアプローチは主に2段階の手順に基づいており、まず内積モデルを学び、次に近い近接探索アルゴリズム(ANN)を用いて上位候補を見つける。 本稿では,ANNアルゴリズムにおけるユークリッド空間の仮定に頼らずに,ユーザとイテムのインタラクションデータ(例えばクリック)を直接検索可能な構造を学習するために,Deep Retrieval(DR)を提案する。 DRの構造は全ての候補項目を離散潜在空間に符号化する。 候補の潜在コードはモデルパラメータであり、同じ目的関数を最大化するために他のニューラルネットワークパラメータと共に学習する。 モデルが学習されると、構造上のビーム探索を行い、最上位候補を検索して再ランキングを行う。 経験的に、我々はまず、2つの公開データセットのブルートフォースベースラインとほぼ同じ精度を、サブ線形計算複雑性を持つ dr が達成できることを実証した。 さらに本研究では,実運用レコメンデーションシステムにおいて,デプロイされたDRアプローチが,エンゲージメントの指標として十分に調整されたANNベースラインを著しく上回ることを示す。 我々の知る限りでは、DRは産業レコメンデーションシステムのために数億のアイテムをスケールで展開した最初の非ANNアルゴリズムの1つである。

関連論文リスト

• Discovering Data Structures: Nearest Neighbor Search and Beyond [18.774836778996544]
  データ構造をエンド・ツー・エンドで学習するための一般的なフレームワークを提案する。 我々のフレームワークは、基礎となるデータ分布に適応し、クエリと空間の複雑さをきめ細やかな制御を提供する。 まず、この枠組みを近接探索問題に適用する。
  論文  参考訳（メタデータ） (2024-11-05T16:50:54Z)
• Approximate Nearest Neighbour Search on Dynamic Datasets: An Investigation [20.409659920455955]
  近似k-Nearest Neighbour (ANN) 法は情報マイニングや大規模高次元データセットでの機械学習支援によく用いられる。 静的なデータセットを持つアプリケーションでは、ランタイム制約とデータセットプロパティを使用して、適切な操作特性を持つANNメソッドを経験的に選択することができる。 従来の評価手法は、インデックス構造を更新する際の計算コストや、インデックス更新の率とサイズを考慮していない。
  論文  参考訳（メタデータ） (2024-04-30T06:21:44Z)
• A Weighted K-Center Algorithm for Data Subset Selection [70.49696246526199]
  サブセット選択は、トレーニングデータの小さな部分を特定する上で重要な役割を果たす、基本的な問題である。 我々は,k中心および不確かさサンプリング目的関数の重み付け和に基づいて,サブセットを計算する新しい係数3近似アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-12-17T04:41:07Z)
• Learning To Dive In Branch And Bound [95.13209326119153]
  グラフニューラルネットワークを用いて特定の潜水構造を学習するためのL2Diveを提案する。 我々は、変数の割り当てを予測するために生成モデルを訓練し、線形プログラムの双対性を利用して潜水決定を行う。
  論文  参考訳（メタデータ） (2023-01-24T12:01:45Z)
• On the Generalizability and Predictability of Recommender Systems [33.46314108814183]
  推奨システムアプローチに関する大規模な研究を初めて行った。 Reczillaは、レコメンデーションシステムのためのメタラーニングアプローチです。
  論文  参考訳（メタデータ） (2022-06-23T17:51:42Z)
• Approximate Nearest Neighbor Search under Neural Similarity Metric for Large-Scale Recommendation [20.42993976179691]
  本稿では,任意のマッチング関数にANN探索を拡張する新しい手法を提案する。 我々の主な考えは、すべての項目から構築された類似性グラフに一致する関数で、欲張りのウォークを実行することである。 提案手法は,Taobaoのディスプレイ広告プラットフォームに完全に展開されており,広告収入の大幅な増加をもたらす。
  論文  参考訳（メタデータ） (2022-02-14T07:55:57Z)
• Learning to Hash Robustly, with Guarantees [79.68057056103014]
  本稿では,理論的アルゴリズムと本質的に一致する最悪ケース保証を持つハミング空間のためのNSアルゴリズムを設計する。 理論的にも実用的にも、与えられたデータセットに対してアルゴリズムが最適化できる能力を評価する。 我々のアルゴリズムは、MNISTおよびImageNetデータセットに対する最悪のパフォーマンスのクエリを、1.8倍と2.1倍の精度でリコールする。
  論文  参考訳（メタデータ） (2021-08-11T20:21:30Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Online Model Selection for Reinforcement Learning with Function Approximation [50.008542459050155]
  我々は、$tildeO(L5/6 T2/3)$ regretで最適な複雑性に適応するメタアルゴリズムを提案する。 また、メタアルゴリズムは、インスタンス依存の後悔境界を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-11-19T10:00:54Z)
• Exploration in two-stage recommender systems [79.50534282841618]
  2段階のレコメンデータシステムは、スケーラビリティと保守性のために業界で広く採用されている。 このセットアップの鍵となる課題は、各ステージの最適性能が最適なグローバルパフォーマンスを暗示していないことである。 そこで本研究では,ランクとノミネーター間の探索戦略を同期させる手法を提案する。
  論文  参考訳（メタデータ） (2020-09-01T16:52:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。