論文の概要: Make Large Language Model a Better Ranker
- arxiv url: http://arxiv.org/abs/2403.19181v1
- Date: Thu, 28 Mar 2024 07:22:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 17:03:08.557544
- Title: Make Large Language Model a Better Ranker
- Title(参考訳): 大きな言語モデルをより良いランク付けに
- Authors: Wenshuo Chao, Zhi Zheng, Hengshu Zhu, Hao Liu,
- Abstract要約: 本稿では,aligned Listwise Ranking Objectives (ALRO)を用いた言語モデルフレームワークを提案する。
ALROの重要な特徴は、言語生成タスクに適した損失適応である、ソフトロスの導入である。
評価研究により,ALROが既存の埋め込み型レコメンデーション法より優れていることが明らかとなった。
- 参考スコア(独自算出の注目度): 20.532118635672763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The evolution of Large Language Models (LLMs) has significantly enhanced capabilities across various fields, leading to a paradigm shift in how Recommender Systems (RSs) are conceptualized and developed. However, existing research primarily focuses on point-wise and pair-wise recommendation paradigms. These approaches prove inefficient in LLM-based recommenders due to the high computational cost of utilizing Large Language Models. While some studies have delved into list-wise approaches, they fall short in ranking tasks. This shortfall is attributed to the misalignment between the objectives of ranking and language generation. To this end, this paper introduces the Language Model Framework with Aligned Listwise Ranking Objectives (ALRO). ALRO is designed to bridge the gap between the capabilities of LLMs and the nuanced requirements of ranking tasks within recommender systems. A key feature of ALRO is the introduction of soft lambda loss, an adaptation of lambda loss tailored to suit language generation tasks. Additionally, ALRO incorporates a permutation-sensitive learning mechanism that addresses position bias, a prevalent issue in generative models, without imposing additional computational burdens during inference. Our evaluative studies reveal that ALRO outperforms existing embedding-based recommendation methods and the existing LLM-based recommendation baselines, highlighting its efficacy.
- Abstract(参考訳): LLM(Large Language Models)の進化は、様々な分野にわたって大幅に拡張され、Recommender Systems(RS)の概念化と発展のパラダイムシフトにつながった。
しかし、既存の研究は主にポイントワイドとペアワイドのレコメンデーションパラダイムに焦点を当てている。
これらのアプローチは、大規模言語モデルを利用する計算コストが高いため、LLMベースのレコメンデータでは非効率であることが証明されている。
リストワイドなアプローチを探求する研究もあるが、ランキングタスクでは不足している。
この欠点は、ランク付けの目的と言語生成の相違によるものである。
そこで本稿では,Aligned Listwise Ranking Objectives (ALRO) を用いた言語モデルフレームワークを提案する。
ALROは、LLMの能力とレコメンダシステム内のランキングタスクの微妙な要求とのギャップを埋めるように設計されている。
ALROの重要な特徴は、言語生成タスクに適したラムダ損失の適応である、ソフトラムダ損失の導入である。
さらに、ALROには、位置バイアスに対処する置換感受性学習機構が組み込まれている。
評価研究により,ALROは既存の組込み型レコメンデーション法と既存のLCMベースのレコメンデーションベースラインを上回り,その有効性を強調した。
関連論文リスト
- ALaRM: Align Language Models via Hierarchical Rewards Modeling [41.79125107279527]
ALaRMは、人間からのフィードバックから強化学習において、階層的な報酬をモデル化する最初のフレームワークである。
このフレームワークは、全体的な報酬とアスペクト固有の報酬を統合することで、現在のアライメントアプローチの限界に対処する。
我々は、長文質問応答および機械翻訳タスクの応用を通して、我々のアプローチを検証する。
論文 参考訳(メタデータ) (2024-03-11T14:28:40Z) - Aligning Large Language Models for Controllable Recommendations [32.82292871427888]
従来のレコメンデータモデルから派生したラベルを付加した教師付き学習タスクのコレクションを導入する。
そこで我々は,LLMの能力を高めるための強化学習に基づくアライメント手法を開発した。
提案手法は,高い精度性能を維持しつつ,レコメンダシステム内の命令に準拠するLLMの能力を大幅に向上させる。
論文 参考訳(メタデータ) (2024-03-08T05:23:27Z) - Exploring the Impact of Large Language Models on Recommender Systems: An Extensive Review [2.780460221321639]
本稿では,リフォームレコメンダシステムにおける大規模言語モデルの重要性について述べる。
LLMは、言葉の複雑な解釈において、その適応性を示す、アイテムを推薦するのに非常に熟練している。
トランスフォーメーションの可能性にもかかわらず、入力プロンプトに対する感受性、時には誤解釈、予期せぬ推奨など、課題は続いている。
論文 参考訳(メタデータ) (2024-02-11T00:24:17Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Adapting LLMs for Efficient, Personalized Information Retrieval: Methods
and Implications [0.7832189413179361]
LLM(Large Language Models)は、人間に似たテキストの理解と生成に優れた言語モデルである。
本稿では,言語モデル(LLM)と情報検索(IR)システムの統合戦略について検討する。
論文 参考訳(メタデータ) (2023-11-21T02:01:01Z) - LLMRec: Benchmarking Large Language Models on Recommendation Task [54.48899723591296]
推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。
我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。
ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。
論文 参考訳(メタデータ) (2023-08-23T16:32:54Z) - Recommender Systems in the Era of Large Language Models (LLMs) [62.0129013439038]
大規模言語モデル(LLM)は自然言語処理(NLP)と人工知能(AI)の分野に革命をもたらした。
我々は, プレトレーニング, ファインチューニング, プロンプティングなどの様々な側面から, LLM を利用したレコメンデータシステムの総合的なレビューを行う。
論文 参考訳(メタデータ) (2023-07-05T06:03:40Z) - A Survey on Large Language Models for Recommendation [80.01023231943205]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。
本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文 参考訳(メタデータ) (2023-05-31T13:51:26Z) - A Survey of Large Language Models [81.06947636926638]
言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。
近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。
パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
論文 参考訳(メタデータ) (2023-03-31T17:28:46Z) - LMPriors: Pre-Trained Language Models as Task-Specific Priors [78.97143833642971]
適切な事前条件でモデルを拡張するための原則的手法を開発した。
これは、世界に対する私たちの理解と相容れない方法で学ぶことを奨励するものです。
我々は,近年の大規模言語モデル(LM)の成功から着想を得た。
論文 参考訳(メタデータ) (2022-10-22T19:09:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。