論文の概要: LaMP: When Large Language Models Meet Personalization
- arxiv url: http://arxiv.org/abs/2304.11406v3
- Date: Tue, 9 Jan 2024 21:00:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-11 17:55:04.342539
- Title: LaMP: When Large Language Models Meet Personalization
- Title(参考訳): LaMP: 大きな言語モデルがパーソナライゼーションに出会ったとき
- Authors: Alireza Salemi, Sheshera Mysore, Michael Bendersky, Hamed Zamani
- Abstract要約: 本稿では,大規模言語モデルにおけるパーソナライズの重要性を強調し,LaMPベンチマークを導入する。
LaMPは、パーソナライズされた出力を生成するための言語モデルのトレーニングと評価のための新しいベンチマークである。
- 参考スコア(独自算出の注目度): 39.123842095386635
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper highlights the importance of personalization in large language
models and introduces the LaMP benchmark -- a novel benchmark for training and
evaluating language models for producing personalized outputs. LaMP offers a
comprehensive evaluation framework with diverse language tasks and multiple
entries for each user profile. It consists of seven personalized tasks,
spanning three text classification and four text generation tasks. We
additionally propose two retrieval augmentation approaches that retrieve
personal items from each user profile for personalizing language model outputs.
To this aim, we study various retrieval models, including term matching,
semantic matching, and time-aware methods. Extensive experiments on LaMP for
zero-shot and fine-tuned language models demonstrate the efficacy of the
proposed retrieval augmentation approach and highlight the impact of
personalization in various natural language tasks.
- Abstract(参考訳): 本稿では、大規模言語モデルにおけるパーソナライズの重要性を強調し、パーソナライズされた出力を生成するための言語モデルのトレーニングと評価のための新しいベンチマークであるLaMPベンチマークを紹介する。
LaMPは、さまざまな言語タスクと、各ユーザプロファイルに対する複数のエントリを備えた総合的な評価フレームワークを提供する。
それは7つのパーソナライズされたタスクで構成され、3つのテキスト分類と4つのテキスト生成タスクにまたがる。
さらに,各ユーザプロファイルから個人項目を検索し,言語モデルの出力をパーソナライズする2つの検索拡張手法を提案する。
そこで本研究では, 用語マッチング, 意味マッチング, 時間認識法など様々な検索モデルについて検討する。
ゼロショットおよび微調整言語モデルに対するLaMPの大規模な実験は、提案手法の有効性を示し、様々な自然言語タスクにおけるパーソナライズの影響を明らかにする。
関連論文リスト
- Personalized Large Language Models [8.714932744665958]
本稿では,大規模言語モデル(LLM)のパーソナライズ手法について検討する。
その結果、パーソナライズされた微調整は、非パーソナライズされたモデルと比較してモデル推論を改善することが示された。
感情認識とヘイトスピーチ検出のためのデータセットの実験は、パーソナライズされた方法で一貫したパフォーマンス向上を示す。
論文 参考訳(メタデータ) (2024-02-14T15:55:30Z) - Exploring the Maze of Multilingual Modeling [2.0849578298972835]
我々は,mBERT,XLM-R,GPT-3の3つの言語モデルについて総合評価を行った。
その結果,言語固有の事前学習データの量はモデル性能において重要な役割を担っているが,汎用リソースの可用性,言語ファミリ,スクリプトタイプといった他の要因も重要な特徴であることがわかった。
論文 参考訳(メタデータ) (2023-10-09T04:48:14Z) - Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳(メタデータ) (2023-06-13T08:08:08Z) - OCHADAI at SemEval-2022 Task 2: Adversarial Training for Multilingual
Idiomaticity Detection [4.111899441919165]
文が慣用的表現を含むか否かを判定する多言語逆行訓練モデルを提案する。
我々のモデルは、異なる多言語変換言語モデルからの事前学習された文脈表現に依存している。
論文 参考訳(メタデータ) (2022-06-07T05:52:43Z) - Generalizing Multimodal Pre-training into Multilingual via Language
Acquisition [54.69707237195554]
英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。
この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。
単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-29T08:53:22Z) - Exploring Teacher-Student Learning Approach for Multi-lingual
Speech-to-Intent Classification [73.5497360800395]
複数の言語をサポートするエンドツーエンドシステムを開発した。
我々は、事前訓練された多言語自然言語処理モデルからの知識を利用する。
論文 参考訳(メタデータ) (2021-09-28T04:43:11Z) - Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。
これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
論文 参考訳(メタデータ) (2021-06-16T18:13:55Z) - Evaluating Cross-Lingual Transfer Learning Approaches in Multilingual
Conversational Agent Models [1.52292571922932]
自然言語理解(NLU)モデルのための汎用多言語モデルフレームワークを提案する。
これらの多言語モデルが,言語固有のテストデータにまたがる単言語モデルと比較して,同等あるいは優れた性能に到達できることを示す。
論文 参考訳(メタデータ) (2020-12-07T17:14:52Z) - Exploring Versatile Generative Language Model Via Parameter-Efficient
Transfer Learning [70.81910984985683]
本稿では,1つの大規模事前学習モデルを用いて,複数のダウンストリーム生成タスクを同時に微調整する効果的な方法を提案する。
5つの多様な言語生成タスクの実験は、各タスクに2-3%のパラメータを追加するだけで、モデル全体の微調整性能を維持または改善できることを示している。
論文 参考訳(メタデータ) (2020-04-08T06:18:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。