論文の概要: ELCoRec: Enhance Language Understanding with Co-Propagation of Numerical and Categorical Features for Recommendation

• arxiv url: http://arxiv.org/abs/2406.18825v1
• Date: Thu, 27 Jun 2024 01:37:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 21:11:24.932308
• Title: ELCoRec: Enhance Language Understanding with Co-Propagation of Numerical and Categorical Features for Recommendation
• Title（参考訳）: ELCoRec:レコメンデーションのための数値的・カテゴリー的特徴の共伝播による言語理解の促進
• Authors: Jizheng Chen, Kounianhua Du, Jianghao Lin, Bo Chen, Ruiming Tang, Weinan Zhang,
• Abstract要約: 大規模言語モデルは自然言語処理(NLP)領域で栄えている。 レコメンデーション指向の微調整モデルによって示された知性にもかかわらず、LLMはユーザーの行動パターンを完全に理解するのに苦労している。 既存の作業は、その重要な情報を導入することなく、与えられたテキストデータに対してのみLLMを微調整するだけである。
• 参考スコア（独自算出の注目度）: 38.64175351885443
• License:
• Abstract: Large language models have been flourishing in the natural language processing (NLP) domain, and their potential for recommendation has been paid much attention to. Despite the intelligence shown by the recommendation-oriented finetuned models, LLMs struggle to fully understand the user behavior patterns due to their innate weakness in interpreting numerical features and the overhead for long context, where the temporal relations among user behaviors, subtle quantitative signals among different ratings, and various side features of items are not well explored. Existing works only fine-tune a sole LLM on given text data without introducing that important information to it, leaving these problems unsolved. In this paper, we propose ELCoRec to Enhance Language understanding with CoPropagation of numerical and categorical features for Recommendation. Concretely, we propose to inject the preference understanding capability into LLM via a GAT expert model where the user preference is better encoded by parallelly propagating the temporal relations, and rating signals as well as various side information of historical items. The parallel propagation mechanism could stabilize heterogeneous features and offer an informative user preference encoding, which is then injected into the language models via soft prompting at the cost of a single token embedding. To further obtain the user's recent interests, we proposed a novel Recent interaction Augmented Prompt (RAP) template. Experiment results over three datasets against strong baselines validate the effectiveness of ELCoRec. The code is available at https://anonymous.4open.science/r/CIKM_Code_Repo-E6F5/README.md.
• Abstract（参考訳）: 自然言語処理(NLP)分野では,大規模な言語モデルが盛んであり,推奨される可能性にも注目が集まっている。 リコメンデーション指向の微調整モデルによるインテリジェンスにもかかわらず、LLMは、数値的特徴の解釈に固有の弱点と、ユーザ行動間の時間的関係、異なる評価の微妙な量的信号、アイテムの様々な側面の特徴がよく調べられていない長いコンテキストにおけるオーバーヘッドのために、ユーザ行動パターンを完全に理解するのに苦労している。 既存の作業は、その重要な情報を導入せずに、与えられたテキストデータに対してのみ LLM を微調整するだけであり、これらの問題は未解決のままである。 本稿では,推薦のための数値的・分類的特徴のCoPropagationを用いたELCoRec to Enhance Languageの理解を提案する。 具体的には,時間的関係を並列に伝播させることによりユーザの嗜好を符号化するGAT専門家モデルと,歴史的項目のさまざまな側面情報とともに評価信号を用いて,LLMに嗜好理解能力を注入することを提案する。 並列伝搬機構は不均一な特徴を安定化し、情報的ユーザの好みを符号化し、単一のトークン埋め込みのコストでソフトプロンプトによって言語モデルに注入する。 ユーザの関心をさらに高めるため,我々はRAPテンプレートを新たに提案した。 ELCoRecの有効性を検証するために、3つのデータセットに対して実験を行った。 コードはhttps://anonymous.4open.science/r/CIKM_Code_Repo-E6F5/README.mdで公開されている。

関連論文リスト

• Beyond Retrieval: Generating Narratives in Conversational Recommender Systems [4.912663905306209]
  本稿では,会話レコメンデーションにおける自然言語生成タスクのための新しいデータセット(REGEN)を提案する。 我々は、よく知られた生成指標を用いてベンチマークを作成し、レーダLEMを用いて新しいデータセットの自動評価を行う。 そして、私たちの知る限りでは、レコメンデーター信号を理解し、リッチな物語を生成することにおけるLLMの能力を分析する最初の試みである。
  論文  参考訳（メタデータ） (2024-10-22T07:53:41Z)
• Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
  大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• CLAIM Your Data: Enhancing Imputation Accuracy with Contextual Large Language Models [0.18416014644193068]
  本稿では,精度インプット法(CLAIM)の文脈言語モデルを提案する。 従来の計算法とは異なり、CLAIMは文脈に関連のある自然言語記述子を使用して、欠落した値を埋める。 多様なデータセットや欠落パターンに対する評価は,既存の計算手法よりもCLAIMの方が優れた性能を示している。
  論文  参考訳（メタデータ） (2024-05-28T00:08:29Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• RecExplainer: Aligning Large Language Models for Explaining Recommendation Models [50.74181089742969]
  大規模言語モデル (LLM) は、理解、推論、指導において顕著な知性を示した。 本稿では, ブラックボックスレコメンデータモデルを説明するために, LLM を代理モデルとして利用することについて検討する。 効果的なアライメントを容易にするために,行動アライメント,意図アライメント,ハイブリッドアライメントという3つの手法を導入する。
  論文  参考訳（メタデータ） (2023-11-18T03:05:43Z)
• Representation Learning with Large Language Models for Recommendation [34.46344639742642]
  本稿では,大規模言語モデル (LLM) を用いた表現学習によるレコメンデータの強化を目的とした,モデルに依存しないフレームワーク RLMRec を提案する。 RLMRecには補助的なテキスト信号が組み込まれており、LLMが権限を持つユーザ/イテムプロファイリングパラダイムを開発し、LLMの意味空間と協調的関係信号の表現空間を整合させる。
  論文  参考訳（メタデータ） (2023-10-24T15:51:13Z)
• Rethinking the Evaluation for Conversational Recommendation in the Era of Large Language Models [115.7508325840751]
  近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。 本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。 LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:12:43Z)
• Offline RL for Natural Language Generation with Implicit Language Q Learning [87.76695816348027]
  ユーザ指定タスクの完了に関して、大きな言語モデルは矛盾する可能性がある。 本稿では,RLのフレキシブル・ユーティリティ・フレームワークと教師あり学習能力を組み合わせた新しいRL手法を提案する。 ILQLの実証的な検証に加えて、オフラインRLが自然言語生成設定で有用となるような、詳細な経験的分析状況も提示する。
  論文  参考訳（メタデータ） (2022-06-05T18:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。