論文の概要: Revisiting Neural Retrieval on Accelerators
- arxiv url: http://arxiv.org/abs/2306.04039v1
- Date: Tue, 6 Jun 2023 22:08:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 16:57:00.209110
- Title: Revisiting Neural Retrieval on Accelerators
- Title（参考訳）: 加速器におけるニューラル検索の再検討
- Authors: Jiaqi Zhai, Zhaojie Gong, Yueming Wang, Xiao Sun, Zheng Yan, Fu Li,
Xing Liu
- Abstract要約: 検索の重要な構成要素は、(ユーザ、アイテム)類似性をモデル化することである。
その人気にもかかわらず、ドット製品は多面的であり、おそらく高いランクにある複雑なユーザとイテムのインタラクションをキャプチャすることはできない。
本稿では,基本類似度関数の適応的構成として,ユーザ,アイテムの類似度をモデル化したロジットのテキストミックス(MoL)を提案する。
- 参考スコア（独自算出の注目度）: 20.415728886298915
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Retrieval finds a small number of relevant candidates from a large corpus for
information retrieval and recommendation applications. A key component of
retrieval is to model (user, item) similarity, which is commonly represented as
the dot product of two learned embeddings. This formulation permits efficient
inference, commonly known as Maximum Inner Product Search (MIPS). Despite its
popularity, dot products cannot capture complex user-item interactions, which
are multifaceted and likely high rank. We hence examine non-dot-product
retrieval settings on accelerators, and propose \textit{mixture of logits}
(MoL), which models (user, item) similarity as an adaptive composition of
elementary similarity functions. This new formulation is expressive, capable of
modeling high rank (user, item) interactions, and further generalizes to the
long tail. When combined with a hierarchical retrieval strategy,
\textit{h-indexer}, we are able to scale up MoL to 100M corpus on a single GPU
with latency comparable to MIPS baselines. On public datasets, our approach
leads to uplifts of up to 77.3\% in hit rate (HR). Experiments on a large
recommendation surface at Meta showed strong metric gains and reduced
popularity bias, validating the proposed approach's performance and improved
generalization.
- Abstract（参考訳）: Retrievalは、情報検索とレコメンデーションアプリケーションのための大規模なコーパスから、少数の関連する候補を見つける。
検索の鍵となる要素は、2つの学習された埋め込みの点積として一般的に表される(ユーザ、アイテム)類似性をモデル化することである。
この定式化は、最大内積探索(MIPS)として知られる効率的な推論を可能にする。
人気にもかかわらず、dot製品は多面的かつおそらく高いランクを持つ複雑なユーザー-テーマインタラクションをキャプチャできない。
そこで本研究では,アクセラレーションにおける非dot-product検索設定を考察し,基本類似度関数の適応的構成としての類似性をモデルとした,logitsの複合化 (mol) を提案する。
この新たな定式化は表現力があり、高階(ユーザ、アイテム)の相互作用をモデル化し、さらに長い尾に一般化することができる。
階層的な検索戦略である‘textit{h-indexer}’と組み合わせることで,MIPSベースラインに匹敵するレイテンシで,単一のGPU上でMoLを100Mコーパスにスケールアップすることが可能になります。
公開データセットでは、我々のアプローチは、ヒット率(hr)が77.3\%まで上昇する。
metaにおける大きな推奨面に関する実験は、強力なメトリック向上と人気バイアスの減少を示し、提案手法のパフォーマンスを検証し、一般化を改善した。
関連論文リスト
- Improved Diversity-Promoting Collaborative Metric Learning for Recommendation [127.08043409083687]
CML(Collaborative Metric Learning)は、リコメンデーションシステムにおいて人気のある手法として最近登場した。
本稿では,ユーザが複数のカテゴリの関心を持つ,困難なシナリオに焦点をあてる。
textitDiversity-Promoting Collaborative Metric Learning (DPCML) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-09-02T07:44:48Z) - Retrieval with Learned Similarities [2.729516456192901]
最先端の検索アルゴリズムは、学習された類似点に移行した。
そこで本研究では,Mixture-of-Logits (MoL) を実証的に実現し,多様な検索シナリオにおいて優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2024-07-22T08:19:34Z) - ACE: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
我々は、エンドツーエンドのクロスモーダル検索のための先駆的なジェネリッククロスモーダル rEtrieval framework (ACE) を提案する。
ACEは、クロスモーダル検索における最先端のパフォーマンスを達成し、Recall@1の強いベースラインを平均15.27%上回る。
論文 参考訳（メタデータ） (2024-06-25T12:47:04Z) - Optimizing Novelty of Top-k Recommendations using Large Language Models and Reinforcement Learning [16.287067991245962]
現実世界のシステムでは、新しいモデルに対する重要な考慮は、トップkレコメンデーションの新規性である。
本稿では,大規模言語モデルが新しい項目に対するフィードバックを提供する強化学習(RL)の定式化を提案する。
大規模検索エンジンにおけるクエリーアドレコメンデーションタスクの新規性向上のための提案アルゴリズムの評価を行った。
論文 参考訳（メタデータ） (2024-06-20T10:20:02Z) - MMGRec: Multimodal Generative Recommendation with Transformer Model [81.61896141495144]
MMGRecは、マルチモーダルレコメンデーションに生成パラダイムを導入することを目指している。
まず,階層的な量子化手法であるGraph CF-RQVAEを考案し,各項目にRec-IDを割り当てる。
次に、Transformerベースのレコメンデータをトレーニングし、過去のインタラクションシーケンスに基づいて、ユーザが推奨するアイテムのRec-IDを生成する。
論文 参考訳（メタデータ） (2024-04-25T12:11:27Z) - Learnable Pillar-based Re-ranking for Image-Text Retrieval [119.9979224297237]
画像テキスト検索は、モダリティギャップを埋め、意味的類似性に基づいてモダリティコンテンツを検索することを目的としている。
一般的なポストプロセッシング手法であるリグレードは, 単一モダリティ検索タスクにおいて, 隣り合う関係を捕捉する優位性を明らかにしている。
本稿では,画像テキスト検索のための新しい学習可能な柱型リグレードパラダイムを提案する。
論文 参考訳（メタデータ） (2023-04-25T04:33:27Z) - kNN-Embed: Locally Smoothed Embedding Mixtures For Multi-interest
Candidate Retrieval [7.681386867564213]
kNN-Embedは、各ユーザを、学習したアイテムクラスタ上のスムーズな混合として表現し、ユーザの“関心”を表現している。
我々は、kNN-Embedを標準のANN候補検索と比較し、全体的なリコールの改善と3つのデータセット間の多様性の向上を示す。
論文 参考訳（メタデータ） (2022-05-12T16:42:24Z) - Learning Personalized Item-to-Item Recommendation Metric via Implicit
Feedback [24.37151414523712]
本稿では,暗黙のフィードバックによるメトリクス学習の新しい視点から,レコメンデーションシステムにおける項目間推薦問題について検討する。
本研究では,アイテムの内部コンテンツとユーザによるインタラクションの両方をキャプチャする,パーソナライズ可能なディープメトリックモデルを開発し,検討する。
論文 参考訳（メタデータ） (2022-03-18T18:08:57Z) - Approximate Nearest Neighbor Search under Neural Similarity Metric for
Large-Scale Recommendation [20.42993976179691]
本稿では,任意のマッチング関数にANN探索を拡張する新しい手法を提案する。
我々の主な考えは、すべての項目から構築された類似性グラフに一致する関数で、欲張りのウォークを実行することである。
提案手法は,Taobaoのディスプレイ広告プラットフォームに完全に展開されており,広告収入の大幅な増加をもたらす。
論文 参考訳（メタデータ） (2022-02-14T07:55:57Z) - IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。
クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。
我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
論文 参考訳（メタデータ） (2021-03-17T23:13:25Z) - Sparse-Interest Network for Sequential Recommendation [78.83064567614656]
本稿では,シーケンシャルレコメンデーションのためのtextbfSparse textbfInterest textbfNEtwork(SINE)を提案する。
我々のスパース関心モジュールは、大きなコンセプトプールから各ユーザに対してスパースの概念セットを適応的に推測することができる。
SINEは最先端の手法よりも大幅に改善できる。
論文 参考訳（メタデータ） (2021-02-18T11:03:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。