論文の概要: Revisiting Neural Retrieval on Accelerators
- arxiv url: http://arxiv.org/abs/2306.04039v1
- Date: Tue, 6 Jun 2023 22:08:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 16:57:00.209110
- Title: Revisiting Neural Retrieval on Accelerators
- Title(参考訳): 加速器におけるニューラル検索の再検討
- Authors: Jiaqi Zhai, Zhaojie Gong, Yueming Wang, Xiao Sun, Zheng Yan, Fu Li,
Xing Liu
- Abstract要約: 検索の重要な構成要素は、(ユーザ、アイテム)類似性をモデル化することである。
その人気にもかかわらず、ドット製品は多面的であり、おそらく高いランクにある複雑なユーザとイテムのインタラクションをキャプチャすることはできない。
本稿では,基本類似度関数の適応的構成として,ユーザ,アイテムの類似度をモデル化したロジットのテキストミックス(MoL)を提案する。
- 参考スコア(独自算出の注目度): 20.415728886298915
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Retrieval finds a small number of relevant candidates from a large corpus for
information retrieval and recommendation applications. A key component of
retrieval is to model (user, item) similarity, which is commonly represented as
the dot product of two learned embeddings. This formulation permits efficient
inference, commonly known as Maximum Inner Product Search (MIPS). Despite its
popularity, dot products cannot capture complex user-item interactions, which
are multifaceted and likely high rank. We hence examine non-dot-product
retrieval settings on accelerators, and propose \textit{mixture of logits}
(MoL), which models (user, item) similarity as an adaptive composition of
elementary similarity functions. This new formulation is expressive, capable of
modeling high rank (user, item) interactions, and further generalizes to the
long tail. When combined with a hierarchical retrieval strategy,
\textit{h-indexer}, we are able to scale up MoL to 100M corpus on a single GPU
with latency comparable to MIPS baselines. On public datasets, our approach
leads to uplifts of up to 77.3\% in hit rate (HR). Experiments on a large
recommendation surface at Meta showed strong metric gains and reduced
popularity bias, validating the proposed approach's performance and improved
generalization.
- Abstract(参考訳): Retrievalは、情報検索とレコメンデーションアプリケーションのための大規模なコーパスから、少数の関連する候補を見つける。
検索の鍵となる要素は、2つの学習された埋め込みの点積として一般的に表される(ユーザ、アイテム)類似性をモデル化することである。
この定式化は、最大内積探索(MIPS)として知られる効率的な推論を可能にする。
人気にもかかわらず、dot製品は多面的かつおそらく高いランクを持つ複雑なユーザー-テーマインタラクションをキャプチャできない。
そこで本研究では,アクセラレーションにおける非dot-product検索設定を考察し,基本類似度関数の適応的構成としての類似性をモデルとした,logitsの複合化 (mol) を提案する。
この新たな定式化は表現力があり、高階(ユーザ、アイテム)の相互作用をモデル化し、さらに長い尾に一般化することができる。
階層的な検索戦略である‘textit{h-indexer}’と組み合わせることで,MIPSベースラインに匹敵するレイテンシで,単一のGPU上でMoLを100Mコーパスにスケールアップすることが可能になります。
公開データセットでは、我々のアプローチは、ヒット率(hr)が77.3\%まで上昇する。
metaにおける大きな推奨面に関する実験は、強力なメトリック向上と人気バイアスの減少を示し、提案手法のパフォーマンスを検証し、一般化を改善した。
関連論文リスト
- Ada-Retrieval: An Adaptive Multi-Round Retrieval Paradigm for Sequential
Recommendations [50.03560306423678]
本稿では,レコメンダシステムのための適応型マルチラウンド検索パラダイムであるAda-Retrievalを提案する。
Ada-Retrievalは、ユーザー表現を反復的に洗練し、全項目領域の潜在的な候補をよりよく捉えます。
論文 参考訳(メタデータ) (2024-01-12T15:26:40Z) - Learnable Pillar-based Re-ranking for Image-Text Retrieval [119.9979224297237]
画像テキスト検索は、モダリティギャップを埋め、意味的類似性に基づいてモダリティコンテンツを検索することを目的としている。
一般的なポストプロセッシング手法であるリグレードは, 単一モダリティ検索タスクにおいて, 隣り合う関係を捕捉する優位性を明らかにしている。
本稿では,画像テキスト検索のための新しい学習可能な柱型リグレードパラダイムを提案する。
論文 参考訳(メタデータ) (2023-04-25T04:33:27Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳(メタデータ) (2022-05-23T11:01:59Z) - kNN-Embed: Locally Smoothed Embedding Mixtures For Multi-interest
Candidate Retrieval [7.681386867564213]
kNN-Embedは、各ユーザを、学習したアイテムクラスタ上のスムーズな混合として表現し、ユーザの“関心”を表現している。
我々は、kNN-Embedを標準のANN候補検索と比較し、全体的なリコールの改善と3つのデータセット間の多様性の向上を示す。
論文 参考訳(メタデータ) (2022-05-12T16:42:24Z) - Learning Personalized Item-to-Item Recommendation Metric via Implicit
Feedback [24.37151414523712]
本稿では,暗黙のフィードバックによるメトリクス学習の新しい視点から,レコメンデーションシステムにおける項目間推薦問題について検討する。
本研究では,アイテムの内部コンテンツとユーザによるインタラクションの両方をキャプチャする,パーソナライズ可能なディープメトリックモデルを開発し,検討する。
論文 参考訳(メタデータ) (2022-03-18T18:08:57Z) - Approximate Nearest Neighbor Search under Neural Similarity Metric for
Large-Scale Recommendation [20.42993976179691]
本稿では,任意のマッチング関数にANN探索を拡張する新しい手法を提案する。
我々の主な考えは、すべての項目から構築された類似性グラフに一致する関数で、欲張りのウォークを実行することである。
提案手法は,Taobaoのディスプレイ広告プラットフォームに完全に展開されており,広告収入の大幅な増加をもたらす。
論文 参考訳(メタデータ) (2022-02-14T07:55:57Z) - SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval [11.38022203865326]
SPLADEモデルは、最先端の高密度かつスパースなアプローチに関して、高度にスパースな表現と競争結果を提供する。
我々は、プール機構を変更し、文書拡張のみに基づいてモデルをベンチマークし、蒸留で訓練されたモデルを導入する。
全体として、SPLADEはTREC DL 2019のNDCG@10で9ドル以上のゲインで大幅に改善され、BEIRベンチマークで最先端の結果が得られた。
論文 参考訳(メタデータ) (2021-09-21T10:43:42Z) - IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。
クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。
我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
論文 参考訳(メタデータ) (2021-03-17T23:13:25Z) - Sparse-Interest Network for Sequential Recommendation [78.83064567614656]
本稿では,シーケンシャルレコメンデーションのためのtextbfSparse textbfInterest textbfNEtwork(SINE)を提案する。
我々のスパース関心モジュールは、大きなコンセプトプールから各ユーザに対してスパースの概念セットを適応的に推測することができる。
SINEは最先端の手法よりも大幅に改善できる。
論文 参考訳(メタデータ) (2021-02-18T11:03:48Z) - Centralized Information Interaction for Salient Object Detection [68.8587064889475]
U字型構造は、多スケールの機能を効率的に組み合わせるサリエント物体検出に長けている。
本稿では,これらの接続を集中化することにより,相互に相互に情報交換を行うことができることを示す。
本手法は, ボトムアップ経路とトップダウン経路の接続を置換することにより, 既存のU字型サルエント物体検出手法と協調することができる。
論文 参考訳(メタデータ) (2020-12-21T12:42:06Z) - A Hybrid Approach to Enhance Pure Collaborative Filtering based on
Content Feature Relationship [0.17188280334580192]
本稿では,自然言語処理領域であるWord2Vecから,コンテンツ特徴間の暗黙的な関係を抽出する手法を提案する。
次に、関連性を利用してアイテムのベクトル表現を決定する新しいコンテンツベースレコメンデーションシステムを提案する。
評価結果から,ユーザが選択した項目の選好を,純粋に協調的なフィルタリングと同等に予測できることが示唆された。
論文 参考訳(メタデータ) (2020-05-17T02:20:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。