論文の概要: Enhancing Recommendation Diversity by Re-ranking with Large Language
Models
- arxiv url: http://arxiv.org/abs/2401.11506v1
- Date: Sun, 21 Jan 2024 14:33:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 16:09:42.436338
- Title: Enhancing Recommendation Diversity by Re-ranking with Large Language
Models
- Title(参考訳): 大規模言語モデルによる勧告の多様性向上
- Authors: Diego Carraro and Derek Bridge
- Abstract要約: 本稿では,Large Language Models (LLMs) を用いて多様性を再評価する方法について述べる。
我々はGPTファミリーとLlamaファミリーから最先端の会話型LLMをテストする総合的な実験を行った。
特別な知識工学は必要ないので、LLMをベースとした再ランク付けは有望なアプローチであると結論づける。
- 参考スコア(独自算出の注目度): 0.32634122554913997
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It has long been recognized that it is not enough for a Recommender System
(RS) to provide recommendations based only on their relevance to users. Among
many other criteria, the set of recommendations may need to be diverse in order
to handle uncertainty and offer a meaningful choice. The literature reports
many ways of measuring diversity and ways of improving the diversity of a set
of recommendations, most notably by re-ranking and selecting from a larger set
of candidate recommendations. Driven by promising insights from the literature
on how to incorporate versatile Large Language Models (LLMs) into the RS
pipeline, in this paper, we show how LLMs can be used for diversity re-ranking.
We begin with an informal study that verifies that LLMs can be used for
re-ranking tasks and do have some understanding of the concept of diversity.
Then, we design a more rigorous methodology where LLMs are prompted to generate
a diverse ranking from a candidate ranking using various prompt templates with
different re-ranking instructions in a zero-shot fashion. We conduct
comprehensive experiments testing state-of-the-art conversational LLMs from the
GPT and Llama families. We compare their re-ranking capabilities with random
re-ranking and various traditional re-ranking methods from the literature (MMR,
xQuAD and RxQuAD). We find that LLM-based re-ranking outperforms random
re-ranking across all the metrics that we use but does not perform as well as
the traditional re-ranking methods. We gain insight into prompt design for this
task (e.g.\ on the whole, it is better to prompt for diversity rather than a
balance of diversity and relevance). Given that no special knowledge
engineering is needed, we conclude that LLM-based re-ranking is a promising
approach, and we highlight directions for future research. We open-source the
code of our experiments for reproducibility.
- Abstract(参考訳): Recommender System(RS)がユーザとの関係性のみに基づいてレコメンデーションを提供するのに十分ではないと長年認識されてきた。
他の多くの基準の中で、不確実性に対処し有意義な選択を提供するために、推奨のセットは多様である必要がある。
この文献は、より大規模な推薦候補の再選と選択によって、一連の推薦の多様性を改善するための多様性と方法を測定する多くの方法を報告している。
本稿では,多目的言語モデル(LLM)をRSパイプラインに組み込む方法について,文献から有望な知見を得られた上で,LLMが多様性の再評価にどのように使用できるかを示す。
まず、LCMがタスクの再ランク付けに使用でき、多様性の概念をある程度理解できるという非公式な研究から始めます。
次に,様々なプロンプトテンプレートを用いて候補ランキングから,ゼロショット方式で,llmが多種多様なランキングを生成するための,より厳密な手法を考案する。
我々はGPTファミリーとLlamaファミリーから最先端の会話型LLMをテストする総合実験を行った。
文献(MMR, xQuAD, RxQuAD)から、それらの再ランク機能と、ランダムな再ランク機能と、さまざまな従来手法との比較を行った。
LLMベースの再ランク付けは、使用するすべてのメトリクスでランダムに再ランク付けされるが、従来の再ランク付け方法と同等に機能しない。
我々は、このタスクの迅速な設計に関する洞察を得る(例えば、全体としては、多様性と妥当性のバランスよりも多様性の促進の方がよい)。
専門知識工学は必要ないので,LLMをベースとした再ランク付けは有望なアプローチであり,今後の研究の方向性を強調している。
再現性のための実験のコードをオープンソースにしています。
関連論文リスト
- Benchmarking LLMs on the Semantic Overlap Summarization Task [9.656095701778975]
本稿では,セマンティック・オーバーラップ・サマリゼーション(SOS)タスクにおいて,Large Language Models (LLM) を包括的に評価する。
本稿では, ROUGE, BERTscore, SEM-F1$などの定評ある指標を, 2種類の代替物語のデータセット上で報告する。
論文 参考訳(メタデータ) (2024-02-26T20:33:50Z) - Diversify Question Generation with Retrieval-Augmented Style Transfer [68.00794669873196]
本稿では,検索型スタイル転送のためのフレームワーク RAST を提案する。
本研究の目的は,多様なテンプレートのスタイルを質問生成に活用することである。
多様性報酬と一貫性報酬の重み付けを最大化する新しい強化学習(RL)ベースのアプローチを開発する。
論文 参考訳(メタデータ) (2023-10-23T02:27:31Z) - LLMRec: Benchmarking Large Language Models on Recommendation Task [54.48899723591296]
推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。
我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。
ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。
論文 参考訳(メタデータ) (2023-08-23T16:32:54Z) - ReLLa: Retrieval-enhanced Large Language Models for Lifelong Sequential
Behavior Comprehension in Recommendation [44.89764672511655]
ゼロショットと少数ショットのレコメンデーションタスクのために、純粋に大きな言語モデルを適応し、強化することに重点を置いています。
ゼロショット設定と少数ショット設定の両方でレコメンデーションタスクを行うRetrieval-enhanced Large Language Model (ReLLa)を提案する。
論文 参考訳(メタデータ) (2023-08-22T02:25:04Z) - LLM-Rec: Personalized Recommendation via Prompting Large Language Models [62.481065357472964]
大きな言語モデル(LLM)は、常識的な知識と推論を活用する能力を示した。
大規模言語モデル(LLM)の最近の進歩は、コモンセンスの知識と推論を活用できることを顕著に示している。
本研究では,パーソナライズされたテキストベースのレコメンデーションを改善するために,テキストエンリッチメントの4つの異なる促進戦略を取り入れた新しいアプローチ LLM-Rec を提案する。
論文 参考訳(メタデータ) (2023-07-24T18:47:38Z) - GenRec: Large Language Model for Generative Recommendation [41.22833600362077]
本稿では,テキストデータに基づく大規模言語モデル(LLM)を用いたレコメンデーションシステムに対する革新的なアプローチを提案する。
GenRecはLLMの理解機能を使ってコンテキストを解釈し、ユーザの好みを学習し、関連するレコメンデーションを生成する。
本研究は,レコメンデーションシステムの領域に革命をもたらす上で,LLMに基づくジェネレーティブレコメンデーションの可能性を明らかにするものである。
論文 参考訳(メタデータ) (2023-07-02T02:37:07Z) - How Can Recommender Systems Benefit from Large Language Models: A Survey [83.90471827695625]
大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。
我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
論文 参考訳(メタデータ) (2023-06-09T11:31:50Z) - A Survey on Large Language Models for Recommendation [80.01023231943205]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。
本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文 参考訳(メタデータ) (2023-05-31T13:51:26Z) - PALR: Personalization Aware LLMs for Recommendation [7.407353565043918]
PALRは、ユーザ履歴の振る舞い(クリック、購入、評価など)と大きな言語モデル(LLM)を組み合わせることで、ユーザの好むアイテムを生成することを目的としている。
我々のソリューションは、様々なシーケンシャルなレコメンデーションタスクにおいて最先端のモデルよりも優れています。
論文 参考訳(メタデータ) (2023-05-12T17:21:33Z) - Information Directed Reward Learning for Reinforcement Learning [64.33774245655401]
我々は、標準rlアルゴリズムが可能な限り少数の専門家クエリで高い期待値を達成することができる報酬関数のモデルを学ぶ。
特定のタイプのクエリ用に設計された以前のアクティブな報酬学習方法とは対照的に、IDRLは自然に異なるクエリタイプに対応します。
我々は,複数の環境における広範囲な評価と,異なるタイプのクエリでこの結果を支持する。
論文 参考訳(メタデータ) (2021-02-24T18:46:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。