論文の概要: Zero-Shot Recommendation as Language Modeling

• arxiv url: http://arxiv.org/abs/2112.04184v1
• Date: Wed, 8 Dec 2021 09:16:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-09 22:46:49.006933
• Title: Zero-Shot Recommendation as Language Modeling
• Title（参考訳）: 言語モデルとしてのゼロショット推薦
• Authors: Damien Sileo, Wout Vossen, Robbe Raymaekers
• Abstract要約: 既製の事前学習言語モデル(LM)を用いた推薦フレームワークを提案する。 我々は、LM確率で$u$と$m$の間の親和性を推定するテキストプロンプトを構築した。 我々は、コーパス分析でアイデアを動機付け、いくつかのプロンプト構造を評価し、LMベースの推奨と異なるデータ構造で訓練された標準行列分解を比較した。
• 参考スコア（独自算出の注目度）: 1.0312968200748118
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recommendation is the task of ranking items (e.g. movies or products) according to individual user needs. Current systems rely on collaborative filtering and content-based techniques, which both require structured training data. We propose a framework for recommendation with off-the-shelf pretrained language models (LM) that only used unstructured text corpora as training data. If a user $u$ liked \textit{Matrix} and \textit{Inception}, we construct a textual prompt, e.g. \textit{"Movies like Matrix, Inception, ${<}m{>}$"} to estimate the affinity between $u$ and $m$ with LM likelihood. We motivate our idea with a corpus analysis, evaluate several prompt structures, and we compare LM-based recommendation with standard matrix factorization trained on different data regimes. The code for our experiments is publicly available (https://colab.research.google.com/drive/1f1mlZ-FGaLGdo5rPzxf3vemKllbh2esT?usp=sharing).
• Abstract（参考訳）: レコメンデーション(Recommendation)とは、個々のユーザーのニーズに応じてアイテム(映画や製品など)をランク付けするタスクである。 現在のシステムは協調フィルタリングとコンテンツベースの技術に依存しており、どちらも構造化されたトレーニングデータを必要とする。 本稿では,非構造化テキストコーパスのみをトレーニングデータとして使用する既成事前学習言語モデル(LM)を用いた推薦フレームワークを提案する。 a user $u$ liked \textit{Matrix} と \textit{Inception} は、例えば \textit{"Movies like Matrix, Inception, ${<}m{>}$"} のようなテキストプロンプトを構築し、$u$ と $m$ の親和性をLMの確率で推定する。 提案手法をコーパス分析でモチベーション化し,いくつかのプロンプト構造を評価し,異なるデータレジームで訓練された標準行列因子化とlmベースレコメンデーションを比較した。 実験のコードは公開されています(https://colab.research.google.com/drive/1f1mlZ-FGaLGdo5rPzxf3vemKllbh2esT?usp= Share)。

関連論文リスト

• PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
  本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。 検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
  論文  参考訳（メタデータ） (2024-04-29T04:51:30Z)
• LAMPAT: Low-Rank Adaption for Multilingual Paraphrasing Using Adversarial Training [19.173992333194683]
  パラフレーズ(英: Paraphrase)とは、異なる単語や文構造を用いて同じ意味を伝えるテキストである。 これまでの研究は機械翻訳の知識を活用し、ゼロショット機械翻訳によるパラフレーズを同じ言語で生成してきた。 単言語データセットが人間に似た多文を生成するのに十分である最初の教師なし多言語パラフレーズモデル LAMPAT を提案する。
  論文  参考訳（メタデータ） (2024-01-09T04:19:16Z)
• Tuna: Instruction Tuning using Feedback from Large Language Models [74.04950416204551]
  本稿では,新しいテキスト確率的ランキングとテキストコンテクスチュアルランキングを用いた命令調整型大規模言語モデルの微調整を提案する。 確率的ランク付けにより、教師のLCMから高品質で低品質なレスポンスの相対的なランク付けを継承することができる。 一方、文脈的ランキングを学習することで、より強いLLMの文脈的理解能力を用いて、モデルが独自の応答分布を洗練できる。
  論文  参考訳（メタデータ） (2023-10-20T09:55:06Z)
• Retrieval-Pretrained Transformer: Long-range Language Modeling with Self-retrieval [51.437420003471615]
  本稿では,検索拡張LMをゼロから共同で訓練するためのアーキテクチャおよび訓練手順であるRetrieval-Pretrained Transformer (RPT)を提案する。 RPTは検索品質を向上し、強いベースラインに比べてボード全体の難易度を向上する。
  論文  参考訳（メタデータ） (2023-06-23T10:18:02Z)
• Generating EDU Extracts for Plan-Guided Summary Re-Ranking [77.7752504102925]
  要約候補を生成して1つの要約を返す2段階のアプローチでは、標準的な単一ステップアプローチよりもROUGEスコアを改善することができる。 これらの問題に対処する再ランク付け候補を生成するための新しい手法を設計する。 広く使われている単一文書ニュース記事コーパスにおいて,以前に公表された手法よりも大きな関連性を示した。
  論文  参考訳（メタデータ） (2023-05-28T17:22:04Z)
• Table Meets LLM: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study [44.39031420687302]
  大規模言語モデル(LLM)は、自然言語(NL)に関連する課題を解決するために、数ショットの推論器として魅力的になってきている。 LLMの構造的理解能力を評価するためのベンチマークを設計して,これを理解しようと試みる。 重要な値や範囲識別など,効率的な構造的プロンプトのための$textitself-augmentation$を提案する。
  論文  参考訳（メタデータ） (2023-05-22T14:23:46Z)
• TextBox 2.0: A Text Generation Library with Pre-trained Language Models [72.49946755856935]
  本稿では,事前学習言語モデル(PLM)の利用に着目し,包括的で統一されたライブラリであるTextBox 2.0を提案する。 包括的に言えば、私たちのライブラリは、13ドルの共通テキスト生成タスクと、それに対応する8,3ドルのデータセットをカバーしています。 また、効率的なトレーニング戦略を4ドルで実装し、スクラッチから新しいPLMを事前トレーニングするための4ドル世代目標を提供します。
  論文  参考訳（メタデータ） (2022-12-26T03:50:36Z)
• You can't pick your neighbors, or can you? When and how to rely on retrieval in the $k$NN-LM [65.74934004876914]
  Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。 そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。 本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
  論文  参考訳（メタデータ） (2022-10-28T02:57:40Z)
• A Spectral Approach to Item Response Theory [6.5268245109828005]
  本稿では,Raschモデルに対する新しい項目推定アルゴリズムを提案する。 我々のアルゴリズムの中核は、アイテム-イムグラフ上で定義されたマルコフ連鎖の定常分布の計算である。 合成および実生活データセットの実験により、我々のアルゴリズムは、文献でよく使われている手法とスケーラブルで正確で競合することを示した。
  論文  参考訳（メタデータ） (2022-10-09T18:57:08Z)
• CUE Vectors: Modular Training of Language Models Conditioned on Diverse Contextual Signals [11.310756148007753]
  本稿では,多種多様な文・外部文脈(メタデータを含む)を用いたニューラルネットワークモデルの学習をモジュール化する枠組みを提案する。 我々のアプローチである文脈的普遍埋め込み(CUE)は、日付や著者などの文脈の1つのセットでLMを訓練し、記事タイトルや前文のような新しいメタデータタイプに適応する。 我々は、複数のメタデータ型を持つNYTimesテキストコーパス上でCUEフレームワークを検証する。
  論文  参考訳（メタデータ） (2022-03-16T17:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。