論文の概要: Hierarchical Structured Neural Network for Retrieval

• arxiv url: http://arxiv.org/abs/2408.06653v2
• Date: Fri, 25 Oct 2024 20:11:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 11:26:46.570906
• Title: Hierarchical Structured Neural Network for Retrieval
• Title（参考訳）: 階層構造ニューラルネットワークによる検索
• Authors: Kaushik Rangadurai, Siyang Yuan, Minhui Huang, Yiqun Liu, Golnaz Ghasemiesfeh, Yunchen Pu, Xinfeng Xie, Xingfeng He, Fangzhou Xu, Andrew Cui, Vidhoon Viswanathan, Yan Dong, Liang Xiong, Lin Yang, Liang Wang, Jiyan Yang, Chonglin Sun,
• Abstract要約: 本稿では,階層的クラスタリングとニューラルネットワークモデルを共同で最適化した階層構造ニューラルネットワーク(HSNN)を提案する。 HSNNはAds Recommendationシステムにうまくデプロイされ、現在トラフィックの大部分を処理しています。 本稿では,新鮮度,ボラティリティ,コールドスタートレコメンデーション,クラスタ崩壊,大規模検索生産システムにおけるモデル展開の教訓といった課題に対処し,本システムの開発経験を公開する。
• 参考スコア（独自算出の注目度）: 16.364477888946478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embedding Based Retrieval (EBR) is a crucial component of the retrieval stage in (Ads) Recommendation System that utilizes Two Tower or Siamese Networks to learn embeddings for both users and items (ads). It then employs an Approximate Nearest Neighbor Search (ANN) to efficiently retrieve the most relevant ads for a specific user. Despite the recent rise to popularity in the industry, they have a couple of limitations. Firstly, Two Tower model architecture uses a single dot product interaction which despite their efficiency fail to capture the data distribution in practice. Secondly, the centroid representation and cluster assignment, which are components of ANN, occur after the training process has been completed. As a result, they do not take into account the optimization criteria used for retrieval model. In this paper, we present Hierarchical Structured Neural Network (HSNN), a deployed jointly optimized hierarchical clustering and neural network model that can take advantage of sophisticated interactions and model architectures that are more common in the ranking stages while maintaining a sub-linear inference cost. We achieve 6.5% improvement in offline evaluation and also demonstrate 1.22% online gains through A/B experiments. HSNN has been successfully deployed into the Ads Recommendation system and is currently handling major portion of the traffic. The paper shares our experience in developing this system, dealing with challenges like freshness, volatility, cold start recommendations, cluster collapse and lessons deploying the model in a large scale retrieval production system.
• Abstract（参考訳）: アドレコメンデーションシステム(Ads)では,Two Tower や Siamese Networks を利用してユーザとアイテム(ads)の両方の埋め込みを学習する。 次に、ANN(Adroximate Nearest Neighbor Search)を使用して、特定のユーザに対して最も関連性の高い広告を効率よく検索する。 最近この業界で人気が高まっているにもかかわらず、いくつかの制限がある。 第一に、Two Towerモデルアーキテクチャは単一のドット製品インタラクションを使用する。 第2に、トレーニングプロセスが完了した後、ANNのコンポーネントであるCentroid表現とクラスタ割り当てが発生する。 その結果、彼らは検索モデルに使用される最適化基準を考慮していない。 本稿では,階層型階層型ニューラルネットワーク(HSNN)を提案する。階層型クラスタリングとニューラルネットワークモデルにより,線形推論コストを維持しつつ,ランク付け段階においてより一般的な高度なインタラクションとモデルアーキテクチャを活用できる。 オフライン評価の6.5%の改善と、A/B実験によるオンライン利益の1.22%を実証する。 HSNNはAds Recommendationシステムにうまくデプロイされ、現在トラフィックの大部分を処理しています。 本稿では,新鮮度,ボラティリティ,コールドスタートレコメンデーション,クラスタ崩壊,大規模検索生産システムにおけるモデル展開の教訓といった課題に対処し,本システムの開発経験を公開する。

関連論文リスト

• RankTower: A Synergistic Framework for Enhancing Two-Tower Pre-Ranking Model [0.0]
  大規模ランキングシステムでは、効率性と効率性のバランスをとるためにカスケードアーキテクチャが広く採用されている。 オンラインレイテンシの制約に従うために、効率性と精度のバランスを維持することは、プレグレードモデルにとって不可欠である。 そこで我々は,ユーザとイテムのインタラクションを効率的に捉えるために,RangeTowerという新しいニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-07-17T08:07:37Z)
• Rethinking Large-scale Pre-ranking System: Entire-chain Cross-domain Models [0.0]
  既存の事前のアプローチは主に、チェーン全体のデータ依存を無視しているため、サンプル選択バイアスの問題に対処する。 本稿では,カスケードステージ全体のサンプルを有効活用し,SSB問題を効果的に緩和するEntire-chain Cross-domain Models (ECM)を提案する。 また,先行精度を向上させるために,ECMMという微細なニューラルネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2023-10-12T05:14:42Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• NASRec: Weight Sharing Neural Architecture Search for Recommender Systems [40.54254555949057]
  NASRecは,1つのスーパーネットをトレーニングし,重量共有により豊富なモデル/サブアーキテクチャを効率的に生成するパラダイムである。 CTR(Click-Through Rates)の3つの予測ベンチマークの結果,NASRecは手動設計モデルと既存のNAS手法の両方より優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-14T20:15:11Z)
• Learning Connectivity-Maximizing Network Configurations [123.01665966032014]
  本稿では、専門家からコミュニケーションエージェントを配置することを学ぶ畳み込みニューラルネットワーク(CNN)を用いた教師あり学習手法を提案する。 我々は,標準ライントポロジやリングトポロジ,ランダムに生成された105万件のテストケース,トレーニング中に見えない大規模なチームについて,CNNのパフォーマンスを実証した。 トレーニング後,本システムは10～20名のエージェントの最適化手法よりも2桁高速な接続構成を生成する。
  論文  参考訳（メタデータ） (2021-12-14T18:59:01Z)
• Learning-To-Ensemble by Contextual Rank Aggregation in E-Commerce [8.067201256886733]
  本稿では,アンサンブルモデルを文脈的ランクアグリゲータに置き換えた新しいラーニング・トゥ・エンサンブル・フレームワークRAEGOを提案する。 RA-EGOは当社のオンラインシステムにデプロイされ、収益を大幅に改善しました。
  論文  参考訳（メタデータ） (2021-07-19T03:24:06Z)
• CorDEL: A Contrastive Deep Learning Approach for Entity Linkage [70.82533554253335]
  エンティティリンケージ(EL)は、データのクリーニングと統合において重要な問題である。 新たなデータの増加に伴い、ディープラーニング(DL)ベースのアプローチが提案され、従来のモデルに付随するELの高コスト化が図られている。 我々は、ツインネットワークアーキテクチャはELに準最適であり、既存のモデルに固有の欠点をもたらすと主張している。
  論文  参考訳（メタデータ） (2020-09-15T16:33:05Z)
• Deep Retrieval: Learning A Retrievable Structure for Large-Scale Recommendations [21.68175843347951]
  本稿では,ユーザとイテムのインタラクションデータを用いて,検索可能な構造を直接学習するために,Deep Retrieval(DR)を提案する。 DRは、産業レコメンデーションシステムのために数億のアイテムをスケールで展開した最初の非ANNアルゴリズムの1つである。
  論文  参考訳（メタデータ） (2020-07-12T06:23:51Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)
• Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
  グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。 ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。 連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-04T06:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。