論文の概要: SPRec: Leveraging Self-Play to Debias Preference Alignment for Large Language Model-based Recommendations

• arxiv url: http://arxiv.org/abs/2412.09243v2
• Date: Thu, 16 Jan 2025 16:38:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 21:49:11.078951
• Title: SPRec: Leveraging Self-Play to Debias Preference Alignment for Large Language Model-based Recommendations
• Title（参考訳）: SPRec: 大規模言語モデルに基づくレコメンデーションの優先順位調整にセルフプレイを活用する
• Authors: Chongming Gao, Ruijun Chen, Shuai Yuan, Kexin Huang, Yuanqing Yu, Xiangnan He,
• Abstract要約: 大規模言語モデル(LLM)はレコメンデーションシステムにおいて大きな注目を集めている。 直接選好最適化(DPO)は、オフライン選好ランキングデータを用いて、ユーザの選好に合わせてレコメンデーションを調整する。 その利点にもかかわらず、DPOは本質的にモデルをいくつかの項目に偏り、フィルタバブル問題を悪化させ、究極的にはユーザエクスペリエンスを低下させます。 SPRecは、過剰勧告を緩和し、追加のデータや手動による介入を必要とせずに公平性を向上させるために設計された、新しいセルフプレイレコメンデーションフレームワークである。
• 参考スコア（独自算出の注目度）: 23.875509546540904
• License:
• Abstract: Large language models (LLMs) have attracted significant attention in recommendation systems. Current LLM-based recommender systems primarily rely on supervised fine-tuning (SFT) to train the model for recommendation tasks. However, relying solely on positive samples limits the model's ability to align with user satisfaction and expectations. To address this, researchers have introduced Direct Preference Optimization (DPO), which explicitly aligns recommendations with user preferences using offline preference ranking data. Despite its advantages, our theoretical analysis reveals that DPO inherently biases the model towards a few items, exacerbating the filter bubble issue and ultimately degrading user experience. In this paper, we propose SPRec, a novel self-play recommendation framework designed to mitigate over-recommendation and improve fairness without requiring additional data or manual intervention. In each self-play iteration, the model undergoes an SFT step followed by a DPO step, treating offline interaction data as positive samples and the predicted outputs from the previous iteration as negative samples. This effectively re-weights the DPO loss function using the model's logits, adaptively suppressing biased items. Extensive experiments on multiple real-world datasets demonstrate SPRec's effectiveness in enhancing recommendation accuracy and addressing fairness concerns. The implementation is available via https://github.com/RegionCh/SPRec
• Abstract（参考訳）: 大規模言語モデル(LLM)はレコメンデーションシステムにおいて大きな注目を集めている。 現在のLLMベースのレコメンデータシステムは、主にレコメンデーションタスクのためにモデルをトレーニングするために教師付き微調整(SFT)に依存している。 しかしながら、肯定的なサンプルのみに依存することは、モデルのユーザの満足度と期待とを一致させる能力を制限します。 これを解決するために、研究者らは、オフラインの選好ランキングデータを使用して、リコメンデーションとユーザの選好を明示的に整合させるDirect Preference Optimization (DPO)を導入した。 その利点にもかかわらず、我々の理論的分析により、DPOは本質的にいくつかの項目に偏り、フィルタバブルの問題を悪化させ、究極的にはユーザエクスペリエンスを低下させます。 本稿では、過剰勧告を緩和し、追加データや手動介入を必要とせずに公平性を向上させるために設計された、新しいセルフプレイレコメンデーションフレームワークであるSPRecを提案する。 各セルフプレイイテレーションにおいて、モデルはSFTステップに続いてDPOステップを実行し、オフラインインタラクションデータを正のサンプルとして扱い、前回のイテレーションからの予測出力を負のサンプルとして扱う。 これにより、モデルのロジットを使用してDPO損失関数を効果的に再重み付けし、偏りのある項目を適応的に抑制する。 複数の実世界のデータセットに対する大規模な実験は、レコメンデーションの精度を高め、フェアネスの懸念に対処するSPRecの有効性を示す。 実装はhttps://github.com/RegionCh/SPRecで利用可能である。

関連論文リスト

• Towards Improved Preference Optimization Pipeline: from Data Generation to Budget-Controlled Regularization [14.50339880957898]
  我々は、嗜好データ生成と正規化の訓練技術について、より深く検討することで、嗜好最適化パイプラインの改善を目指している。 選好データ生成のために、ペアワイズ比較信号を用いて完了の選好ランキングを導出する反復的なペアワイズランキング機構を提案する。 正規化のトレーニングでは、LLMが好むサンプルの確率をわずかに減少させると、好みの最適化がよりよく収束する傾向が観察される。
  論文  参考訳（メタデータ） (2024-11-07T23:03:11Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)
• RosePO: Aligning LLM-based Recommenders with Human Values [38.029251417802044]
  我々は、パーソナライズされた選好最適化(RosePO)を円滑にするための一般的なフレームワークを提案する。 RosePOは、トレーニング後の段階において、カスタマイズされた人的価値との整合性が向上する。 実世界の3つのデータセットの評価は,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-10-16T12:54:34Z)
• ASFT: Aligned Supervised Fine-Tuning through Absolute Likelihood [14.512464277772194]
  Aligned Supervised Fine-Tuning (ASFT)は、大規模言語モデルとペアワイズデータセットの整合性を改善する効果的なアプローチである。 ASFTは、DPO損失関数が人間の不適切なデータを生成する確率を減少させる問題を緩和する。 大規模な実験により、ASFTは効果的なアライメントアプローチであり、既存の手法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-14T11:39:13Z)
• On Softmax Direct Preference Optimization for Recommendation [50.896117978746]
  そこで我々は,LMをベースとした推奨項目の識別を支援するために,ランキング情報をLMに挿入するソフトマックスDPO(S-DPO)を提案する。 具体的には、ユーザの嗜好データに複数の負を組み込んで、LMベースのレコメンデータに適したDPO損失の代替版を考案する。
  論文  参考訳（メタデータ） (2024-06-13T15:16:11Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Robust Preference Optimization through Reward Model Distillation [68.65844394615702]
  言語モデル (LM) は、好みのアノテーションから派生した報酬関数を最大化する。 DPOは、報酬モデルや強化学習を適用することなく、優先データに直接ポリシーを訓練する一般的なオフラインアライメント手法である。 この現象を解析し, 生成対よりも真の嗜好分布のより良いプロキシを得るため, 蒸留を提案する。
  論文  参考訳（メタデータ） (2024-05-29T17:39:48Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Top-N Recommendation with Counterfactual User Preference Simulation [26.597102553608348]
  ユーザーランキングに基づく好みの学習を目的としたTop-Nレコメンデーションは、長い間、広範囲のアプリケーションにおいて基本的な問題だった。 本稿では,データ不足問題に対処するため,因果推論フレームワーク内での推薦タスクの再構築を提案する。
  論文  参考訳（メタデータ） (2021-09-02T14:28:46Z)
• PURS: Personalized Unexpected Recommender System for Improving User Satisfaction [76.98616102965023]
  本稿では、予期せぬことを推奨プロセスに組み込んだ、新しいPersonalized Unexpected Recommender System(PURS)モデルについて述べる。 3つの実世界のデータセットに対する大規模なオフライン実験は、提案されたPURSモデルが最先端のベースラインアプローチを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2021-06-05T01:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。