論文の概要: Hierarchical Structured Neural Network: Efficient Retrieval Scaling for Large Scale Recommendation

• arxiv url: http://arxiv.org/abs/2408.06653v3
• Date: Wed, 08 Jan 2025 20:40:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 13:57:15.174886
• Title: Hierarchical Structured Neural Network: Efficient Retrieval Scaling for Large Scale Recommendation
• Title（参考訳）: 階層構造ニューラルネットワーク:大規模推薦のための効率的な検索スケーリング
• Authors: Kaushik Rangadurai, Siyang Yuan, Minhui Huang, Yiqun Liu, Golnaz Ghasemiesfeh, Yunchen Pu, Haiyu Lu, Xingfeng He, Fangzhou Xu, Andrew Cui, Vidhoon Viswanathan, Lin Yang, Liang Wang, Jiyan Yang, Chonglin Sun,
• Abstract要約: 複雑なユーザインタラクションとアイテムインタラクションを学習するための,効率的なディープニューラルネットワークモデルである階層構造ニューラルネットワーク(HSNN)を導入する。 HSNNは、一般的な手法に比べてオフライン評価の大幅な改善を実現している。
• 参考スコア（独自算出の注目度）: 16.21377996349377
• License:
• Abstract: Retrieval, the initial stage of a recommendation system, is tasked with down-selecting items from a pool of tens of millions of candidates to a few thousands. Embedding Based Retrieval (EBR) has been a typical choice for this problem, addressing the computational demands of deep neural networks across vast item corpora. EBR utilizes Two Tower or Siamese Networks to learn representations for users and items, and employ Approximate Nearest Neighbor (ANN) search to efficiently retrieve relevant items. Despite its popularity in industry, EBR faces limitations. The Two Tower architecture, relying on a single dot product interaction, struggles to capture complex data distributions due to limited capability in learning expressive interactions between users and items. Additionally, ANN index building and representation learning for user and item are often separate, leading to inconsistencies exacerbated by representation (e.g. continuous online training) and item drift (e.g. items expired and new items added). In this paper, we introduce the Hierarchical Structured Neural Network (HSNN), an efficient deep neural network model to learn intricate user and item interactions beyond the commonly used dot product in retrieval tasks, achieving sublinear computational costs relative to corpus size. A Modular Neural Network (MoNN) is designed to maintain high expressiveness for interaction learning while ensuring efficiency. A mixture of MoNNs operate on a hierarchical item index to achieve extensive computation sharing, enabling it to scale up to large corpus size. MoNN and the hierarchical index are jointly learnt to continuously adapt to distribution shifts in both user interests and item distributions. HSNN achieves substantial improvement in offline evaluation compared to prevailing methods.
• Abstract（参考訳）: レコメンデーションシステムの初期段階であるRetrievalは、数千万の候補者のプールから数千万までのアイテムをダウンセレクトするタスクを担っている。 埋め込みベース検索(EBR)は、幅広いアイテムコーパスにわたるディープニューラルネットワークの計算要求に対処し、この問題の典型的な選択である。 EBRはTwo TowerまたはSiamese Networksを使用してユーザやアイテムの表現を学習し、ANN(Approximate Nearest Neighbor)検索を使用して関連アイテムを効率的に検索する。 業界では人気があるにもかかわらず、EBRは限界に直面している。 Two Towerアーキテクチャは、単一ドットのプロダクトインタラクションに依存しており、ユーザとアイテム間の表現力のあるインタラクションを学習する能力に制限があるため、複雑なデータ分散を捉えるのに苦労している。 さらに、ユーザとアイテムのためのANNインデックスの構築と表現学習は、しばしば分離され、表現(例えば、オンラインの継続的なトレーニング)とアイテムドリフト(例えば、アイテムの期限切れと新しいアイテムの追加)によって悪化する不整合が生じる。 本稿では,階層構造ニューラルネットワーク(Hierarchical Structured Neural Network, HSNN)を導入し, 探索作業において一般的に使用されるドット製品以外の複雑なユーザとアイテムのインタラクションを学習し, コーパスサイズに対するサブ線形計算コストを実現する。 Modular Neural Network (MoNN) は、対話学習において効率を保ちながら高い表現性を維持するように設計されている。 MoNNの混合は階層的なアイテムインデックスで動作し、広範な計算共有を実現し、大きなコーパスサイズまでスケールすることができる。 MoNNと階層インデックスは共同で学習され、ユーザの関心事とアイテムの分配の両方における分配シフトに継続的に適応する。 HSNNは、一般的な手法に比べてオフライン評価を大幅に改善する。

関連論文リスト

• Informed deep hierarchical classification: a non-standard analysis inspired approach [0.0]
  出力層の前に配置された特定のプロジェクション演算子を備えた多出力ディープニューラルネットワークで構成されている。 このようなアーキテクチャの設計は、LH-DNN(Lexicographic Hybrid Deep Neural Network)と呼ばれ、異なる研究分野と非常に離れた研究分野のツールを組み合わせることで実現されている。 アプローチの有効性を評価するために、階層的な分類タスクに適した畳み込みニューラルネットワークであるB-CNNと比較する。
  論文  参考訳（メタデータ） (2024-09-25T14:12:50Z)
• Split-Et-Impera: A Framework for the Design of Distributed Deep Learning Applications [8.434224141580758]
  Split-Et-Imperaは、ディープネットワークの解釈可能性の原則に基づいて、ニューラルネットワークのベストスプリットポイントのセットを決定する。 異なるニューラルネットワーク再構成の迅速な評価のための通信認識シミュレーションを実行する。 これは、アプリケーションのサービス要件の品質と、正確性とレイテンシ時間の観点からのパフォーマンスのベストマッチを示唆している。
  論文  参考訳（メタデータ） (2023-03-22T13:00:00Z)
• Integrating User and Item Reviews in Deep Cooperative Neural Networks for Movie Recommendation [0.0]
  本研究は、レビューテキストからアイテム属性とユーザの振る舞いを同時に学習する深層モデルを提案する。 ネットワークの1つは、ユーザが提出したレビューからユーザ行動を学ぶことに焦点を当て、もう1つは、ユーザレビューからアイテム属性を学ぶ。 因子化マシンのアプローチと同様に、共有レイヤは、人や物が相互に相互作用するために取得した潜在要因を許容する。
  論文  参考訳（メタデータ） (2022-05-12T18:18:45Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Distributed Learning for Time-varying Networks: A Scalable Design [13.657740129012804]
  本稿では,スケーラブルなディープニューラルネットワーク(DNN)設計に基づく分散学習フレームワークを提案する。 学習タスクの置換等価性と不変性を利用することで、異なるスケールのクライアントに対して異なるスケールのDNNを構築することができる。 モデルアグリゲーションはこれらの2つのサブマトリクスに基づいて行うことができ、学習の収束と性能を改善することができる。
  論文  参考訳（メタデータ） (2021-07-31T12:44:28Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Online Sequential Extreme Learning Machines: Features Combined From Hundreds of Midlayers [0.0]
  本稿では階層型オンラインシーケンシャル学習アルゴリズム(H-OS-ELM)を提案する。 アルゴリズムは、一定のブロックサイズまたは異なるブロックサイズでチャンクごとにチャンクを学習することができる。
  論文  参考訳（メタデータ） (2020-06-12T00:50:04Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
  グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。 ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。 連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-04T06:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。