論文の概要: Enhancing Recommendation Diversity by Re-ranking with Large Language Models

• arxiv url: http://arxiv.org/abs/2401.11506v1
• Date: Sun, 21 Jan 2024 14:33:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 16:09:42.436338
• Title: Enhancing Recommendation Diversity by Re-ranking with Large Language Models
• Title（参考訳）: 大規模言語モデルによる勧告の多様性向上
• Authors: Diego Carraro and Derek Bridge
• Abstract要約: 本稿では,Large Language Models (LLMs) を用いて多様性を再評価する方法について述べる。 我々はGPTファミリーとLlamaファミリーから最先端の会話型LLMをテストする総合的な実験を行った。 特別な知識工学は必要ないので、LLMをベースとした再ランク付けは有望なアプローチであると結論づける。
• 参考スコア（独自算出の注目度）: 0.32634122554913997
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It has long been recognized that it is not enough for a Recommender System (RS) to provide recommendations based only on their relevance to users. Among many other criteria, the set of recommendations may need to be diverse in order to handle uncertainty and offer a meaningful choice. The literature reports many ways of measuring diversity and ways of improving the diversity of a set of recommendations, most notably by re-ranking and selecting from a larger set of candidate recommendations. Driven by promising insights from the literature on how to incorporate versatile Large Language Models (LLMs) into the RS pipeline, in this paper, we show how LLMs can be used for diversity re-ranking. We begin with an informal study that verifies that LLMs can be used for re-ranking tasks and do have some understanding of the concept of diversity. Then, we design a more rigorous methodology where LLMs are prompted to generate a diverse ranking from a candidate ranking using various prompt templates with different re-ranking instructions in a zero-shot fashion. We conduct comprehensive experiments testing state-of-the-art conversational LLMs from the GPT and Llama families. We compare their re-ranking capabilities with random re-ranking and various traditional re-ranking methods from the literature (MMR, xQuAD and RxQuAD). We find that LLM-based re-ranking outperforms random re-ranking across all the metrics that we use but does not perform as well as the traditional re-ranking methods. We gain insight into prompt design for this task (e.g.\ on the whole, it is better to prompt for diversity rather than a balance of diversity and relevance). Given that no special knowledge engineering is needed, we conclude that LLM-based re-ranking is a promising approach, and we highlight directions for future research. We open-source the code of our experiments for reproducibility.
• Abstract（参考訳）: Recommender System(RS)がユーザとの関係性のみに基づいてレコメンデーションを提供するのに十分ではないと長年認識されてきた。 他の多くの基準の中で、不確実性に対処し有意義な選択を提供するために、推奨のセットは多様である必要がある。 この文献は、より大規模な推薦候補の再選と選択によって、一連の推薦の多様性を改善するための多様性と方法を測定する多くの方法を報告している。 本稿では,多目的言語モデル(LLM)をRSパイプラインに組み込む方法について,文献から有望な知見を得られた上で,LLMが多様性の再評価にどのように使用できるかを示す。 まず、LCMがタスクの再ランク付けに使用でき、多様性の概念をある程度理解できるという非公式な研究から始めます。 次に,様々なプロンプトテンプレートを用いて候補ランキングから,ゼロショット方式で,llmが多種多様なランキングを生成するための,より厳密な手法を考案する。 我々はGPTファミリーとLlamaファミリーから最先端の会話型LLMをテストする総合実験を行った。 文献(MMR, xQuAD, RxQuAD)から、それらの再ランク機能と、ランダムな再ランク機能と、さまざまな従来手法との比較を行った。 LLMベースの再ランク付けは、使用するすべてのメトリクスでランダムに再ランク付けされるが、従来の再ランク付け方法と同等に機能しない。 我々は、このタスクの迅速な設計に関する洞察を得る(例えば、全体としては、多様性と妥当性のバランスよりも多様性の促進の方がよい)。 専門知識工学は必要ないので,LLMをベースとした再ランク付けは有望なアプローチであり,今後の研究の方向性を強調している。 再現性のための実験のコードをオープンソースにしています。

関連論文リスト

• RLRF4Rec: Reinforcement Learning from Recsys Feedback for Enhanced Recommendation Reranking [33.54698201942643]
  大規模言語モデル(LLM)は、様々な領域で顕著なパフォーマンスを示している。 本稿では,Reinforcement Learning from Recsys Feedback for Enhanced Recommendation Re rankを組み込んだ新しいフレームワークであるRLRF4Recを紹介する。
  論文  参考訳（メタデータ） (2024-10-08T11:42:37Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)
• Parrot: Enhancing Multi-Turn Instruction Following for Large Language Models [79.32652077838046]
  大規模言語モデル(LLM)のためのマルチターン命令の強化を目的としたソリューションであるParrotを紹介する。 まず,アナフォラやエリプシスなどの人間的なクエリを特徴とするマルチターン命令を効率よく,効率的に収集する手法を提案する。 第2に,マルチターンインタラクションにおける複雑なクエリに対するLLMをさらに強化する,コンテキスト対応の選好最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T08:36:43Z)
• LLMRec: Benchmarking Large Language Models on Recommendation Task [54.48899723591296]
  推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。 我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。 ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。
  論文  参考訳（メタデータ） (2023-08-23T16:32:54Z)
• LLM-Rec: Personalized Recommendation via Prompting Large Language Models [62.481065357472964]
  大きな言語モデル(LLM)は、常識的な知識と推論を活用する能力を示した。 大規模言語モデル(LLM)の最近の進歩は、コモンセンスの知識と推論を活用できることを顕著に示している。 本研究では,パーソナライズされたテキストベースのレコメンデーションを改善するために,テキストエンリッチメントの4つの異なる促進戦略を取り入れた新しいアプローチ LLM-Rec を提案する。
  論文  参考訳（メタデータ） (2023-07-24T18:47:38Z)
• A Survey on Large Language Models for Recommendation [77.91673633328148]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。 本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
  論文  参考訳（メタデータ） (2023-05-31T13:51:26Z)
• Large Language Models are Zero-Shot Rankers for Recommender Systems [76.02500186203929]
  本研究では,レコメンダシステムのランキングモデルとして機能する大規模言語モデル(LLM)の能力を検討することを目的とする。 LLMにはゼロショットランキング能力があるが、歴史的相互作用の順序を理解するのに苦労していることを示す。 これらの問題は、特別に設計されたプロンプトとブートストラップ戦略によって緩和可能であることを実証する。
  論文  参考訳（メタデータ） (2023-05-15T17:57:39Z)
• PALR: Personalization Aware LLMs for Recommendation [7.407353565043918]
  PALRは、ユーザ履歴の振る舞い(クリック、購入、評価など)と大きな言語モデル(LLM)を組み合わせることで、ユーザの好むアイテムを生成することを目的としている。 我々のソリューションは、様々なシーケンシャルなレコメンデーションタスクにおいて最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-05-12T17:21:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。