論文の概要: Hierarchical Structured Neural Network: Efficient Retrieval Scaling for Large Scale Recommendation

• arxiv url: http://arxiv.org/abs/2408.06653v3
• Date: Wed, 08 Jan 2025 20:40:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 13:57:15.174886
• Title: Hierarchical Structured Neural Network: Efficient Retrieval Scaling for Large Scale Recommendation
• Title（参考訳）: 階層構造ニューラルネットワーク:大規模推薦のための効率的な検索スケーリング
• Authors: Kaushik Rangadurai, Siyang Yuan, Minhui Huang, Yiqun Liu, Golnaz Ghasemiesfeh, Yunchen Pu, Haiyu Lu, Xingfeng He, Fangzhou Xu, Andrew Cui, Vidhoon Viswanathan, Lin Yang, Liang Wang, Jiyan Yang, Chonglin Sun,
• Abstract要約: 複雑なユーザインタラクションとアイテムインタラクションを学習するための,効率的なディープニューラルネットワークモデルである階層構造ニューラルネットワーク(HSNN)を導入する。 HSNNは、一般的な手法に比べてオフライン評価の大幅な改善を実現している。
• 参考スコア（独自算出の注目度）: 16.21377996349377
• License:
• Abstract: Retrieval, the initial stage of a recommendation system, is tasked with down-selecting items from a pool of tens of millions of candidates to a few thousands. Embedding Based Retrieval (EBR) has been a typical choice for this problem, addressing the computational demands of deep neural networks across vast item corpora. EBR utilizes Two Tower or Siamese Networks to learn representations for users and items, and employ Approximate Nearest Neighbor (ANN) search to efficiently retrieve relevant items. Despite its popularity in industry, EBR faces limitations. The Two Tower architecture, relying on a single dot product interaction, struggles to capture complex data distributions due to limited capability in learning expressive interactions between users and items. Additionally, ANN index building and representation learning for user and item are often separate, leading to inconsistencies exacerbated by representation (e.g. continuous online training) and item drift (e.g. items expired and new items added). In this paper, we introduce the Hierarchical Structured Neural Network (HSNN), an efficient deep neural network model to learn intricate user and item interactions beyond the commonly used dot product in retrieval tasks, achieving sublinear computational costs relative to corpus size. A Modular Neural Network (MoNN) is designed to maintain high expressiveness for interaction learning while ensuring efficiency. A mixture of MoNNs operate on a hierarchical item index to achieve extensive computation sharing, enabling it to scale up to large corpus size. MoNN and the hierarchical index are jointly learnt to continuously adapt to distribution shifts in both user interests and item distributions. HSNN achieves substantial improvement in offline evaluation compared to prevailing methods.
• Abstract（参考訳）: レコメンデーションシステムの初期段階であるRetrievalは、数千万の候補者のプールから数千万までのアイテムをダウンセレクトするタスクを担っている。 埋め込みベース検索(EBR)は、幅広いアイテムコーパスにわたるディープニューラルネットワークの計算要求に対処し、この問題の典型的な選択である。 EBRはTwo TowerまたはSiamese Networksを使用してユーザやアイテムの表現を学習し、ANN(Approximate Nearest Neighbor)検索を使用して関連アイテムを効率的に検索する。 業界では人気があるにもかかわらず、EBRは限界に直面している。 Two Towerアーキテクチャは、単一ドットのプロダクトインタラクションに依存しており、ユーザとアイテム間の表現力のあるインタラクションを学習する能力に制限があるため、複雑なデータ分散を捉えるのに苦労している。 さらに、ユーザとアイテムのためのANNインデックスの構築と表現学習は、しばしば分離され、表現(例えば、オンラインの継続的なトレーニング)とアイテムドリフト(例えば、アイテムの期限切れと新しいアイテムの追加)によって悪化する不整合が生じる。 本稿では,階層構造ニューラルネットワーク(Hierarchical Structured Neural Network, HSNN)を導入し, 探索作業において一般的に使用されるドット製品以外の複雑なユーザとアイテムのインタラクションを学習し, コーパスサイズに対するサブ線形計算コストを実現する。 Modular Neural Network (MoNN) は、対話学習において効率を保ちながら高い表現性を維持するように設計されている。 MoNNの混合は階層的なアイテムインデックスで動作し、広範な計算共有を実現し、大きなコーパスサイズまでスケールすることができる。 MoNNと階層インデックスは共同で学習され、ユーザの関心事とアイテムの分配の両方における分配シフトに継続的に適応する。 HSNNは、一般的な手法に比べてオフライン評価を大幅に改善する。

関連論文リスト

• RankTower: A Synergistic Framework for Enhancing Two-Tower Pre-Ranking Model [0.0]
  大規模ランキングシステムでは、効率性と効率性のバランスをとるためにカスケードアーキテクチャが広く採用されている。 オンラインレイテンシの制約に従うために、効率性と精度のバランスを維持することは、プレグレードモデルにとって不可欠である。 そこで我々は,ユーザとイテムのインタラクションを効率的に捉えるために,RangeTowerという新しいニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-07-17T08:07:37Z)
• Rethinking Large-scale Pre-ranking System: Entire-chain Cross-domain Models [0.0]
  既存の事前のアプローチは主に、チェーン全体のデータ依存を無視しているため、サンプル選択バイアスの問題に対処する。 本稿では,カスケードステージ全体のサンプルを有効活用し,SSB問題を効果的に緩和するEntire-chain Cross-domain Models (ECM)を提案する。 また,先行精度を向上させるために,ECMMという微細なニューラルネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2023-10-12T05:14:42Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• NASRec: Weight Sharing Neural Architecture Search for Recommender Systems [40.54254555949057]
  NASRecは,1つのスーパーネットをトレーニングし,重量共有により豊富なモデル/サブアーキテクチャを効率的に生成するパラダイムである。 CTR(Click-Through Rates)の3つの予測ベンチマークの結果,NASRecは手動設計モデルと既存のNAS手法の両方より優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-14T20:15:11Z)
• Learning Connectivity-Maximizing Network Configurations [123.01665966032014]
  本稿では、専門家からコミュニケーションエージェントを配置することを学ぶ畳み込みニューラルネットワーク(CNN)を用いた教師あり学習手法を提案する。 我々は,標準ライントポロジやリングトポロジ,ランダムに生成された105万件のテストケース,トレーニング中に見えない大規模なチームについて,CNNのパフォーマンスを実証した。 トレーニング後,本システムは10～20名のエージェントの最適化手法よりも2桁高速な接続構成を生成する。
  論文  参考訳（メタデータ） (2021-12-14T18:59:01Z)
• Learning-To-Ensemble by Contextual Rank Aggregation in E-Commerce [8.067201256886733]
  本稿では,アンサンブルモデルを文脈的ランクアグリゲータに置き換えた新しいラーニング・トゥ・エンサンブル・フレームワークRAEGOを提案する。 RA-EGOは当社のオンラインシステムにデプロイされ、収益を大幅に改善しました。
  論文  参考訳（メタデータ） (2021-07-19T03:24:06Z)
• CorDEL: A Contrastive Deep Learning Approach for Entity Linkage [70.82533554253335]
  エンティティリンケージ(EL)は、データのクリーニングと統合において重要な問題である。 新たなデータの増加に伴い、ディープラーニング(DL)ベースのアプローチが提案され、従来のモデルに付随するELの高コスト化が図られている。 我々は、ツインネットワークアーキテクチャはELに準最適であり、既存のモデルに固有の欠点をもたらすと主張している。
  論文  参考訳（メタデータ） (2020-09-15T16:33:05Z)
• Deep Retrieval: Learning A Retrievable Structure for Large-Scale Recommendations [21.68175843347951]
  本稿では,ユーザとイテムのインタラクションデータを用いて,検索可能な構造を直接学習するために,Deep Retrieval(DR)を提案する。 DRは、産業レコメンデーションシステムのために数億のアイテムをスケールで展開した最初の非ANNアルゴリズムの1つである。
  論文  参考訳（メタデータ） (2020-07-12T06:23:51Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)
• Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
  グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。 ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。 連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-04T06:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。