論文の概要: PAP-REC: Personalized Automatic Prompt for Recommendation Language Model
- arxiv url: http://arxiv.org/abs/2402.00284v1
- Date: Thu, 1 Feb 2024 02:29:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 16:48:40.241104
- Title: PAP-REC: Personalized Automatic Prompt for Recommendation Language Model
- Title(参考訳): PAP-REC:レコメンデーション言語モデルのためのパーソナライズされた自動プロンプト
- Authors: Zelong Li, Jianchao Ji, Yingqiang Ge, Wenyue Hua, Yongfeng Zhang
- Abstract要約: 本稿では,ReCommendation言語モデルのためのパーソナライズされた自動プロンプトを生成するフレームワークであるPAP-RECを提案する。
レコメンデーション言語モデルのためのパーソナライズされた自動プロンプト生成の課題の1つは、非常に大きな検索空間である。
我々は、サロゲートメトリクスを開発し、リコメンデーション言語モデルを促すために、代替の更新スケジュールを活用する。
- 参考スコア(独自算出の注目度): 46.07664597084786
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently emerged prompt-based Recommendation Language Models (RLM) can solve
multiple recommendation tasks uniformly. The RLMs make full use of the
inherited knowledge learned from the abundant pre-training data to solve the
downstream recommendation tasks by prompts, without introducing additional
parameters or network training. However, handcrafted prompts require
significant expertise and human effort since slightly rewriting prompts may
cause massive performance changes. In this paper, we propose PAP-REC, a
framework to generate the Personalized Automatic Prompt for RECommendation
language models to mitigate the inefficiency and ineffectiveness problems
derived from manually designed prompts. Specifically, personalized automatic
prompts allow different users to have different prompt tokens for the same
task, automatically generated using a gradient-based method. One challenge for
personalized automatic prompt generation for recommendation language models is
the extremely large search space, leading to a long convergence time. To
effectively and efficiently address the problem, we develop surrogate metrics
and leverage an alternative updating schedule for prompting recommendation
language models. Experimental results show that our PAP-REC framework manages
to generate personalized prompts, and the automatically generated prompts
outperform manually constructed prompts and also outperform various baseline
recommendation models. The source code of the work is available at
https://github.com/rutgerswiselab/PAP-REC.
- Abstract(参考訳): 最近登場したプロンプトベースのレコメンデーション言語モデル(RLM)は、複数のレコメンデーションタスクを均一に解決できる。
rlmは、豊富な事前学習データから学んだ継承知識をフル活用し、追加のパラメータやネットワークトレーニングを導入することなく、プロンプトによって下流のレコメンデーションタスクを解決する。
しかし、手作りのプロンプトは、わずかな書き直しが大きなパフォーマンス変化を引き起こす可能性があるため、かなりの専門知識と人的努力を必要とする。
本稿では,手作業で設計したプロンプトから生じる非効率・非効率問題を軽減するため,推奨言語モデルのパーソナライズされた自動プロンプトを生成するフレームワークpap-recを提案する。
具体的には、パーソナライズされた自動プロンプトにより、異なるユーザが同じタスクに対して異なるプロンプトトークンを持つことができる。
レコメンデーション言語モデルのためのパーソナライズされた自動プロンプト生成の課題の一つは、非常に大きな検索空間であり、長い収束時間をもたらす。
この問題を効果的かつ効率的に解決するために,サロゲートメトリクスを開発し,レコメンデーション言語モデルを促すための代替更新スケジュールを活用する。
実験の結果,PAP-RECフレームワークはパーソナライズされたプロンプトを生成し,自動生成されたプロンプトは手作業によるプロンプトよりも優れ,ベースラインレコメンデーションモデルよりも優れていた。
ソースコードはhttps://github.com/rutgerswiselab/pap-recで入手できる。
関連論文リスト
- Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。
このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。
本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
論文 参考訳(メタデータ) (2024-04-01T12:19:08Z) - PRewrite: Prompt Rewriting with Reinforcement Learning [23.120358549806127]
より効率的なプロンプトに最適化されていないプロンプトを書き換える自動化手法であるPRewriteを提案する。
我々は、PRewriteの有効性を示す様々なベンチマークデータセットの実験を行う。
論文 参考訳(メタデータ) (2024-01-16T08:04:50Z) - Learning to Rewrite Prompts for Personalized Text Generation [27.50476377270294]
パーソナライズされたテキスト生成のためのプロンプトを自動的に修正する新しい手法を提案する。
提案手法は、パーソナライズされた生成のための最先端のマルチステージフレームワークによって生成された初期プロンプトを取り込み、いくつかの重要なコンポーネントを書き換える。
書き直しプロンプトの詳細な分析は、人間の読みやすいだけでなく、手作業による手作業による書き直しも可能であることを示している。
論文 参考訳(メタデータ) (2023-09-29T21:15:49Z) - Large Language Models Are Human-Level Prompt Engineers [31.98042013940282]
本稿では,自動命令生成と選択のための自動プロンプトエンジニアを提案する。
APEを駆使したプロンプトは、真理性や情報性に対するステアモデルに適用可能であることを示す。
論文 参考訳(メタデータ) (2022-11-03T15:43:03Z) - Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。
IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
論文 参考訳(メタデータ) (2022-06-04T10:08:50Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-25T07:50:31Z) - IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。
本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
論文 参考訳(メタデータ) (2022-04-09T15:45:27Z) - Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified
Multilingual Prompt [98.26682501616024]
我々はUniPromptと呼ばれるすべての言語に対して統一的なプロンプトを使用する新しいモデルを提案する。
統一的なプロンプトは多言語 PLM による計算であり、言語に依存しない表現を生成する。
提案手法は、異なる言語間で強いベースラインを著しく上回ることができる。
論文 参考訳(メタデータ) (2022-02-23T11:57:52Z) - AutoPrompt: Eliciting Knowledge from Language Models with Automatically
Generated Prompts [46.03503882865222]
AutoPromptは、勾配誘導検索に基づいて、さまざまなタスクセットのプロンプトを作成する自動メソッドである。
マスク付き言語モデル(MLM)は,感情分析や自然言語推論を,追加パラメータや微調整を伴わずに行う能力を持つことを示す。
論文 参考訳(メタデータ) (2020-10-29T22:54:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。