論文の概要: Multiple Key-value Strategy in Recommendation Systems Incorporating Large Language Model

• arxiv url: http://arxiv.org/abs/2310.16409v1
• Date: Wed, 25 Oct 2023 06:49:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 16:18:41.186424
• Title: Multiple Key-value Strategy in Recommendation Systems Incorporating Large Language Model
• Title（参考訳）: 大規模言語モデルを導入したレコメンデーションシステムにおける複数キー値戦略
• Authors: Dui Wang, Xiangyu Hou, Xiaohui Yang, Bo Zhang, Renbing Chen and Daiyue Xue
• Abstract要約: インターネットアプリケーションにおいて,レコメンデーションシステム (RS) はユーザ情報に適合する上で重要な役割を担っている。 近年,大規模言語モデル (LLM) が出現し,CVコミュニティとNLPコミュニティの両方で大きなブレークスルーを遂げている。
• 参考スコア（独自算出の注目度）: 5.100347807752904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recommendation system (RS) plays significant roles in matching users information needs for Internet applications, and it usually utilizes the vanilla neural network as the backbone to handle embedding details. Recently, the large language model (LLM) has exhibited emergent abilities and achieved great breakthroughs both in the CV and NLP communities. Thus, it is logical to incorporate RS with LLM better, which has become an emerging research direction. Although some existing works have made their contributions to this issue, they mainly consider the single key situation (e.g. historical interactions), especially in sequential recommendation. The situation of multiple key-value data is simply neglected. This significant scenario is mainstream in real practical applications, where the information of users (e.g. age, occupation, etc) and items (e.g. title, category, etc) has more than one key. Therefore, we aim to implement sequential recommendations based on multiple key-value data by incorporating RS with LLM. In particular, we instruct tuning a prevalent open-source LLM (Llama 7B) in order to inject domain knowledge of RS into the pre-trained LLM. Since we adopt multiple key-value strategies, LLM is hard to learn well among these keys. Thus the general and innovative shuffle and mask strategies, as an innovative manner of data argument, are designed. To demonstrate the effectiveness of our approach, extensive experiments are conducted on the popular and suitable dataset MovieLens which contains multiple keys-value. The experimental results demonstrate that our approach can nicely and effectively complete this challenging issue.
• Abstract（参考訳）: レコメンデーションシステム(RS)は、インターネットアプリケーションに必要なユーザ情報にマッチする上で重要な役割を担い、通常、バニラニューラルネットワークをバックボーンとして使用して、埋め込みの詳細を処理する。 近年,大規模言語モデル (LLM) が出現し,CVコミュニティとNLPコミュニティの両方で大きなブレークスルーを遂げている。 したがって、rsをllmをより良く組み込むのが論理的であり、これが新たな研究の方向性となっている。 現存する作品の中にはこの問題に貢献するものもあるが、主に単一の重要な状況(例えば歴史的相互作用)、特にシーケンシャルなレコメンデーションについて考察している。 複数のキー値データの状況は単に無視される。 この重要なシナリオは、ユーザ(例えば、年齢、職業等)とアイテム(例えば、タイトル、カテゴリー等)の情報が1つ以上のキーを持つ現実の実用アプリケーションにおいて主流である。 そこで我々は,RSをLLMに組み込むことで,複数のキー値データに基づく逐次レコメンデーションを実現することを目的とする。 特に、RSのドメイン知識を事前学習したLLMに注入するために、一般的なオープンソースLLM(Llama 7B)をチューニングするように指示する。 複数のキーバリュー戦略を採用するため、LLMはこれらのキー間でうまく学習するのは難しい。 このように、データ議論の革新的方法として、一般的かつ革新的なシャッフルおよびマスク戦略が設計されている。 提案手法の有効性を示すために,複数のキー値を含む人気データセットmovielensについて,広範囲にわたる実験を行った。 実験の結果,この課題を良好かつ効果的に解決できることがわかった。

関連論文リスト

• LLM-assisted Explicit and Implicit Multi-interest Learning Framework for Sequential Recommendation [50.98046887582194]
  本研究では,ユーザの興味を2つのレベル – 行動と意味論 – でモデル化する,明示的で暗黙的な多目的学習フレームワークを提案する。 提案するEIMFフレームワークは,小型モデルとLLMを効果的に組み合わせ,多目的モデリングの精度を向上させる。
  論文  参考訳（メタデータ） (2024-11-14T13:00:23Z)
• HLLM: Enhancing Sequential Recommendations via Hierarchical Large Language Models for Item and User Modeling [21.495443162191332]
  大規模言語モデル(LLM)は様々な分野で顕著な成功を収めており、いくつかの研究がレコメンデーションシステムにおいてその可能性を探求している。 逐次レコメンデーションシステムを強化するために,新しい階層型大規模言語モデル (HLLM) アーキテクチャを提案する。 HLLMは,項目特徴抽出とユーザ関心モデリングの両方に 7B パラメータを利用する構成で,優れたスケーラビリティを実現している。
  論文  参考訳（メタデータ） (2024-09-19T13:03:07Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• How Can Recommender Systems Benefit from Large Language Models: A Survey [82.06729592294322]
  大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。 我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
  論文  参考訳（メタデータ） (2023-06-09T11:31:50Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Efficient Online Reinforcement Learning with Offline Data [78.92501185886569]
  オンライン学習時にオフラインデータを活用するために、既存のオフライン手法を単純に適用できることを示します。 私たちはこれらの設計選択を広範囲に改善し、パフォーマンスに最も影響を与える重要な要因を示します。 これらのシンプルなレコメンデーションの正しい適用によって、既存のアプローチよりも$mathbf2.5times$の改善が得られます。
  論文  参考訳（メタデータ） (2023-02-06T17:30:22Z)
• AdaptKeyBERT: An Attention-Based approach towards Few-Shot & Zero-Shot Domain Adaptation of KeyBERT [0.0]
  キーワード抽出器の下流でのトレーニングは長いプロセスであり、かなりの量のデータを必要とする。 本稿では,LLMベースを用いたキーワード抽出器の訓練パイプラインであるAdaptKeyBERTを提案する。
  論文  参考訳（メタデータ） (2022-11-14T16:29:03Z)
• ImitAL: Learning Active Learning Strategies from Synthetic Data [14.758287202278918]
  アクティブラーニングはラベル付きデータを効率的に取得するためのよく知られた標準手法である。 我々は、ALを学習からランクへの問題としてエンコードする新しいクエリ戦略であるImitALを提案する。 このアプローチは他のほとんどの戦略、特に非常に大規模なデータセットよりも実行時パフォーマンスが高いことを示す。
  論文  参考訳（メタデータ） (2021-08-17T15:03:31Z)
• Learning Dexterous Manipulation from Suboptimal Experts [69.8017067648129]
  相対エントロピーQラーニング(Relative Entropy Q-Learning、REQ)は、オフラインおよび従来のRLアルゴリズムのアイデアを組み合わせた単純なポリシーアルゴリズムである。 本稿では、REQが、デモから一般の政治外RL、オフラインRL、およびRLにどのように有効であるかを示す。
  論文  参考訳（メタデータ） (2020-10-16T18:48:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。