論文の概要: Prompt Tuning as User Inherent Profile Inference Machine

• arxiv url: http://arxiv.org/abs/2408.06577v1
• Date: Tue, 13 Aug 2024 02:25:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 17:51:37.842653
• Title: Prompt Tuning as User Inherent Profile Inference Machine
• Title（参考訳）: ユーザ固有プロファイル推論マシンとしてのPrompt Tuning
• Authors: Yusheng Lu, Zhaocheng Du, Xiangyang Li, Xiangyu Zhao, Weiwen Liu, Yichao Wang, Huifeng Guo, Ruiming Tang, Zhenhua Dong, Yongrui Duan,
• Abstract要約: 本稿では,ユーザプロファイルの推測にプロンプトチューニングを用いるUserIP-Tuningを提案する。 プロファイル量子化コードブックは、プロファイル埋め込みによるモダリティギャップを協調IDにブリッジする。 4つの公開データセットの実験では、UserIP-Tuningは最先端のレコメンデーションアルゴリズムを上回っている。
• 参考スコア（独自算出の注目度）: 53.78398656789463
• License:
• Abstract: Large Language Models (LLMs) have exhibited significant promise in recommender systems by empowering user profiles with their extensive world knowledge and superior reasoning capabilities. However, LLMs face challenges like unstable instruction compliance, modality gaps, and high inference latency, leading to textual noise and limiting their effectiveness in recommender systems. To address these challenges, we propose UserIP-Tuning, which uses prompt-tuning to infer user profiles. It integrates the causal relationship between user profiles and behavior sequences into LLMs' prompts. And employs expectation maximization to infer the embedded latent profile, minimizing textual noise by fixing the prompt template. Furthermore, A profile quantization codebook bridges the modality gap by categorizing profile embeddings into collaborative IDs, which are pre-stored for online deployment. This improves time efficiency and reduces memory usage. Experiments on four public datasets show that UserIP-Tuning outperforms state-of-the-art recommendation algorithms. Additional tests and case studies confirm its effectiveness, robustness, and transferability.
• Abstract（参考訳）: LLM(Large Language Models)は、幅広い世界知識と優れた推論能力でユーザプロファイルを強化することで、レコメンデーションシステムにおいて大きな可能性を秘めている。 しかし、LCMは、不安定な命令コンプライアンス、モダリティギャップ、高い推論遅延といった課題に直面し、テキストノイズを引き起こし、レコメンダシステムにおけるそれらの有効性を制限する。 これらの課題に対処するために,ユーザプロファイルの推測にプロンプトチューニングを利用するUserIP-Tuningを提案する。 ユーザプロファイルと行動シーケンスの因果関係をLLMのプロンプトに統合する。 そして、埋め込み潜在プロファイルを推測するために予測最大化を採用し、プロンプトテンプレートを固定することでテキストノイズを最小限にする。 さらに、プロファイル量子化コードブックは、プロファイル埋め込みを協調IDに分類することで、モダリティギャップを橋渡しする。 これにより、時間効率が向上し、メモリ使用量が削減される。 4つの公開データセットの実験では、UserIP-Tuningは最先端のレコメンデーションアルゴリズムを上回っている。 追加のテストとケーススタディにより、その有効性、堅牢性、および伝達性が確認された。

関連論文リスト

• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• On the Worst Prompt Performance of Large Language Models [93.13542053835542]
  大規模言語モデル(LLM)の性能は,プロンプトの表現に非常に敏感である。 セマンティックに等価なケースレベルのクエリで構成される新しいベンチマークであるRobustAlpacaEvalを紹介する。 RobustAlpacaEvalとChatGPT、およびLlama、Mistral、Gemmaファミリーの6つのオープンソースLLMによる実験により、モデル性能のかなりのばらつきが明らかになった。
  論文  参考訳（メタデータ） (2024-06-08T13:40:38Z)
• Democratizing Large Language Models via Personalized Parameter-Efficient Fine-tuning [36.88126051792774]
  大規模言語モデル(LLM)のパーソナライゼーションはますます重要になっている。 1つのPEFT Per User (OPPU) は、パーソナライズされたパラメータ効率の微調整(PEFT)モジュールを使用して、ユーザ固有の行動パターンと好みを保存する。 OPPUは、LaMPベンチマークの7つのタスクで既存のプロンプトベースのメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-02-06T21:03:52Z)
• Integrating Summarization and Retrieval for Enhanced Personalization via Large Language Models [11.950478880423733]
  パーソナライゼーションは自然言語処理(NLP)システムにおけるユーザエクスペリエンスにおいて重要な要素である。 LLM(Large Language Models)の出現によって、重要な疑問は、これらのモデルを使ってユーザエクスペリエンスをよりパーソナライズする方法である。 LLMが生成するタスク対応ユーザ要約を用いた,新しい要約型パーソナライゼーションを提案する。
  論文  参考訳（メタデータ） (2023-10-30T23:40:41Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Explainable Active Learning for Preference Elicitation [0.0]
  我々は、最小限のユーザ労力で情報取得を最大化することを目的として、この問題を解決するためにアクティブラーニング(AL)を採用している。 ALは、大きなラベルのない集合から情報的データを選択して、それらをラベル付けするオラクルを問い合わせる。 ベースとなる機械学習(ML)モデルを更新するために、ユーザからのフィードバック(提示された項目に関するシステムの説明のために)を情報的なサンプルから収集する。
  論文  参考訳（メタデータ） (2023-09-01T09:22:33Z)
• Socratic Pretraining: Question-Driven Pretraining for Controllable Summarization [89.04537372465612]
  ソクラティック事前訓練は、要約タスクにおける制御性を改善するために設計された、質問駆動で教師なし事前訓練の目的である。 以上の結果から,Socraticプレトレーニングはタスク固有のラベル付きデータ要件を半分に削減することがわかった。
  論文  参考訳（メタデータ） (2022-12-20T17:27:10Z)
• Sampling Is All You Need on Modeling Long-Term User Behaviors for CTR Prediction [15.97120392599086]
  textbfM(textbfSampling-based textbfDeep textbfModeling)を提案する。 提案手法は, 長期ユーザ行動のモデル化において, 標準的な注意モデルと同等に機能することが理論的, 実験的に示されている。
  論文  参考訳（メタデータ） (2022-05-20T15:20:52Z)
• Denoising User-aware Memory Network for Recommendation [11.145186013006375]
  我々はDUMN(Denoising User-Aware memory network)という新しいCTRモデルを提案する。 DUMNは明示的なフィードバックの表現を使用して、暗黙的なフィードバックの表現を浄化し、暗黙的なフィードバックを効果的に軽視する。 2つの実際のEコマースユーザ行動データセットの実験は、DUMNが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2021-07-12T14:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。