論文の概要: Prompt Learning for News Recommendation

• arxiv url: http://arxiv.org/abs/2304.05263v1
• Date: Tue, 11 Apr 2023 14:56:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 14:36:02.329599
• Title: Prompt Learning for News Recommendation
• Title（参考訳）: ニュースレコメンデーションのためのプロンプト学習
• Authors: Zizhuo Zhang and Bang Wang
• Abstract要約: 最近のリコメンデーションレコメンデーション(NR)メソッドは、慎重に設計されたレコメンデーション固有のニューラルネットワークと客観的機能を備えたバニラ事前訓練および微調整パラダイムに従って、ニュース表現をエンコードする。 我々は,これらのモデリングパラダイムが,事前学習プロセスに埋め込まれた豊富な意味情報や言語知識を十分に活用していないことを論じる。 このフレームワークは、ユーザーが候補ニュースをクローゼスタイルのマスク予測タスクとしてクリックするかどうかを予測するタスクを変換する。
• 参考スコア（独自算出の注目度）: 2.6524289609910654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Some recent \textit{news recommendation} (NR) methods introduce a Pre-trained Language Model (PLM) to encode news representation by following the vanilla pre-train and fine-tune paradigm with carefully-designed recommendation-specific neural networks and objective functions. Due to the inconsistent task objective with that of PLM, we argue that their modeling paradigm has not well exploited the abundant semantic information and linguistic knowledge embedded in the pre-training process. Recently, the pre-train, prompt, and predict paradigm, called \textit{prompt learning}, has achieved many successes in natural language processing domain. In this paper, we make the first trial of this new paradigm to develop a \textit{Prompt Learning for News Recommendation} (Prompt4NR) framework, which transforms the task of predicting whether a user would click a candidate news as a cloze-style mask-prediction task. Specifically, we design a series of prompt templates, including discrete, continuous, and hybrid templates, and construct their corresponding answer spaces to examine the proposed Prompt4NR framework. Furthermore, we use the prompt ensembling to integrate predictions from multiple prompt templates. Extensive experiments on the MIND dataset validate the effectiveness of our Prompt4NR with a set of new benchmark results.
• Abstract（参考訳）: 最近の \textit{news recommendation} (NR) メソッドでは、慎重に設計されたレコメンデーション固有のニューラルネットワークと目的関数を備えたバニラ事前訓練および微調整パラダイムに従って、ニュース表現をエンコードする事前学習言語モデル (PLM) が導入されている。 PLMの課題目標と矛盾するため、これらのモデリングパラダイムは、事前学習プロセスに埋め込まれた豊富な意味情報や言語知識を十分に活用していないと論じる。 近年,「textit{prompt learning}」と呼ばれる事前学習,プロンプト,予測パラダイムが自然言語処理領域において多くの成功を収めている。 本稿では,この新パラダイムの最初の試行として,ユーザが候補ニュースをクローゼスタイルのマスク予測タスクとしてクリックするかどうかを予測するタスクを変換する,‘textit{Prompt Learning for News Recommendation} (Prompt4NR) フレームワークを開発する。 具体的には,離散的,連続的,ハイブリッドなテンプレートを含む一連のプロンプトテンプレートを設計し,それらに対応する応答空間を構築し,提案するpromp 4nrフレームワークを検討する。 さらに、複数のプロンプトテンプレートからの予測を統合するために、プロンプトアンサンブルを使用する。 MINDデータセットに関する大規模な実験は、新しいベンチマーク結果のセットを用いて、我々のPrompt4NRの有効性を検証する。

関連論文リスト

• Mixture of Prompt Learning for Vision Language Models [12.828490399811376]
  ルーティングモジュールを組み込んだソフトプロンプト学習手法の混合を提案する。 このモジュールはデータセットのさまざまなスタイルをキャプチャし、インスタンス毎に最も適切なプロンプトを動的に選択することができる。 また、意味的にグループ化されたテキストレベルの監視を実装し、各ソフトプロンプトを、そのグループから手動で設計されたテンプレートのトークン埋め込みで初期化する。
  論文  参考訳（メタデータ） (2024-09-18T14:25:02Z)
• Semformer: Transformer Language Models with Semantic Planning [18.750863564495006]
  次世代の予測は、現在のニューラルネットワークモデルの主要なコンポーネントである。 本稿では,応答のセマンティックプランニングを明示的にモデル化したトランスフォーマー言語モデルのトレーニング手法であるSemformerを紹介する。
  論文  参考訳（メタデータ） (2024-09-17T12:54:34Z)
• On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
  プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。 タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:47:42Z)
• Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation with Large Language Models [116.25562358482962]
  最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。 PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
  論文  参考訳（メタデータ） (2022-08-16T17:17:53Z)
• Towards Unified Prompt Tuning for Few-shot Text Classification [47.71344780587704]
  We present the Unified Prompt Tuning (UPT) framework that to improve few-shot text classification for BERT-style model。 UPTでは、異なるNLPタスク間での協調学習のために、新しいパラダイムであるPrompt-Options-Verbalizerを提案する。 また, PLMの一般化能力を向上させるために, 知識向上型選択マスケッド言語モデリングという自己教師型タスクを設計する。
  論文  参考訳（メタデータ） (2022-05-11T07:40:45Z)
• An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks [112.1942546460814]
  生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。 実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-03-31T03:26:55Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)
• NSP-BERT: A Prompt-based Zero-Shot Learner Through an Original Pre-training Task--Next Sentence Prediction [14.912579358678212]
  プロンプトを使用して、プロンプトベース学習やプロンプトラーニングとしても知られる様々な下流タスクを実行することは、最近、プレトレインとファインチューンパラダイムと比較して大きな成功を収めている。 本稿では,RoBERTa や他のモデルに放棄された BERT 独自の事前学習タスク-Next Sentence Prediction (NSP) を用いて,ゼロショットシナリオで複数の NLP タスクを達成しようとする。 トークンレベルの技法とは異なり、我々の文レベルのプロンプトベースの方法であるNSP-BERTは、予測されるプロンプトの長さや位置を固定する必要がなく、エンティティリンクのようなタスクを処理できる。
  論文  参考訳（メタデータ） (2021-09-08T11:57:08Z)
• Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing [78.8500633981247]
  本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。 入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
  論文  参考訳（メタデータ） (2021-07-28T18:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。