論文の概要: Recommender Systems with Generative Retrieval
- arxiv url: http://arxiv.org/abs/2305.05065v1
- Date: Mon, 8 May 2023 21:48:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 20:00:11.011901
- Title: Recommender Systems with Generative Retrieval
- Title(参考訳): 生成的検索を伴うレコメンダシステム
- Authors: Shashank Rajput, Nikhil Mehta, Anima Singh, Raghunandan H. Keshavan,
Trung Vu, Lukasz Heldt, Lichan Hong, Yi Tay, Vinh Q. Tran, Jonah Samost,
Maciej Kula, Ed H. Chi, Maheswaran Sathiamoorthy
- Abstract要約: 本稿では,対象候補の識別子を1フェーズで自動復号する生成検索モデルを提案する。
この新しいパラダイムでトレーニングしたリコメンデータシステムは,Amazonデータセット上の現在のSOTAモデルによって達成される結果を改善することを示す。
- 参考スコア(独自算出の注目度): 51.403911626669526
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern recommender systems leverage large-scale retrieval models consisting
of two stages: training a dual-encoder model to embed queries and candidates in
the same space, followed by an Approximate Nearest Neighbor (ANN) search to
select top candidates given a query's embedding. In this paper, we propose a
new single-stage paradigm: a generative retrieval model which autoregressively
decodes the identifiers for the target candidates in one phase. To do this,
instead of assigning randomly generated atomic IDs to each item, we generate
Semantic IDs: a semantically meaningful tuple of codewords for each item that
serves as its unique identifier. We use a hierarchical method called RQ-VAE to
generate these codewords. Once we have the Semantic IDs for all the items, a
Transformer based sequence-to-sequence model is trained to predict the Semantic
ID of the next item. Since this model predicts the tuple of codewords
identifying the next item directly in an autoregressive manner, it can be
considered a generative retrieval model. We show that our recommender system
trained in this new paradigm improves the results achieved by current SOTA
models on the Amazon dataset. Moreover, we demonstrate that the
sequence-to-sequence model coupled with hierarchical Semantic IDs offers better
generalization and hence improves retrieval of cold-start items for
recommendations.
- Abstract(参考訳): クエリと候補を同じ空間に埋め込むためにデュアルエンコーダモデルをトレーニングし、クエリの埋め込みを与えられた上位候補を選択するためにANN(Approximate Nearest Neighbor)検索を行う。
本稿では,対象候補の識別子を1つのフェーズで自動復号化する生成的検索モデルを提案する。
これを実現するために、各項目にランダムに生成された原子IDを割り当てる代わりに、セマンティックIDを生成する。
我々はこれらのコードワードを生成するためにRQ-VAEと呼ばれる階層的手法を用いる。
すべての項目に対するセマンティックIDが得られたら、Transformerベースのシーケンス・ツー・シーケンスモデルを使用して、次の項目のセマンティックIDを予測する。
このモデルは,次の項目を直接自己回帰的に識別するコードワードのタプルを予測するため,生成的検索モデルとみなすことができる。
この新しいパラダイムでトレーニングしたリコメンデータシステムは、Amazonデータセット上の現在のSOTAモデルによって達成された結果を改善することを示す。
さらに,階層型セマンティックIDと組み合わされたシーケンス・ツー・シーケンス・モデルにより,より一般化し,冷間開始項目の検索を改善した。
関連論文リスト
- Generative Retrieval as Multi-Vector Dense Retrieval [71.75503049199897]
生成検索は、文書の識別子をエンドツーエンドで生成する。
それまでの研究は、原子識別子による生成的検索が単一ベクトル密度検索と等価であることを示した。
生成的検索と多ベクトル高密度検索は,文書の問合せに対する関連性を測定するのと同じ枠組みを共有していることを示す。
論文 参考訳(メタデータ) (2024-03-31T13:29:43Z) - ProCQA: A Large-scale Community-based Programming Question Answering Dataset for Code Search [8.700556381819267]
本稿では,StackOverflowコミュニティから抽出した大規模プログラミング質問応答データセットProCQAを紹介する。
そこで本研究では,既存の言語モデルのテキストとコード表現のアライメントを改善するために,モダリティに依存しないコントラスト付き事前学習手法を提案する。
論文 参考訳(メタデータ) (2024-03-25T12:34:33Z) - Ada-Retrieval: An Adaptive Multi-Round Retrieval Paradigm for Sequential
Recommendations [50.03560306423678]
本稿では,レコメンダシステムのための適応型マルチラウンド検索パラダイムであるAda-Retrievalを提案する。
Ada-Retrievalは、ユーザー表現を反復的に洗練し、全項目領域の潜在的な候補をよりよく捉えます。
論文 参考訳(メタデータ) (2024-01-12T15:26:40Z) - MISSRec: Pre-training and Transferring Multi-modal Interest-aware
Sequence Representation for Recommendation [61.45986275328629]
逐次レコメンデーションのためのマルチモーダル事前学習・転送学習フレームワークであるMISSRecを提案する。
ユーザ側ではトランスフォーマーベースのエンコーダデコーダモデルを設計し、コンテキストエンコーダがシーケンスレベルのマルチモーダルユーザ興味を捉えることを学習する。
候補項目側では,ユーザ適応項目表現を生成するために動的融合モジュールを採用する。
論文 参考訳(メタデータ) (2023-08-22T04:06:56Z) - A Sequence-Aware Recommendation Method Based on Complex Networks [1.385805101975528]
データからネットワークモデルを構築し、それを使ってユーザのその後のアクションを予測する。
提案手法は大規模データセット上で実験的に実装および試験を行った。
論文 参考訳(メタデータ) (2022-09-30T16:34:39Z) - Improving Sequential Query Recommendation with Immediate User Feedback [9.294562590924242]
本稿では,対話型データ探索設定における次のクエリレコメンデーションのためのアルゴリズムを提案する。
最先端のクエリレコメンデーションアルゴリズムは、シーケンスからシーケンスへの学習アプローチに基づいている。
人気のあるオンライン文献発見サービスからログファイルを用いて大規模な実験を行った。
論文 参考訳(メタデータ) (2022-05-12T18:19:24Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳(メタデータ) (2022-04-22T10:45:01Z) - Text Summarization with Latent Queries [60.468323530248945]
本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。
本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。
本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
論文 参考訳(メタデータ) (2021-05-31T21:14:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。