論文の概要: Mult-DPO: Multinomial Direct Preference Optimization for Recommender Systems

• arxiv url: http://arxiv.org/abs/2606.10078v1
• Date: Mon, 08 Jun 2026 18:53:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:37.958812
• Title: Mult-DPO: Multinomial Direct Preference Optimization for Recommender Systems
• Title（参考訳）: Mult-DPO:Recommenderシステムのための多項直接参照最適化
• Authors: Yaochen Zhu, Harald Steck, James McInerney, Aditya Sinha, Yinhan He, Nathan Kallus, Jundong Li,
• Abstract要約: 直接選好最適化(DPO)は、ペアの選好に基づく大規模言語モデル(LLM)の簡易かつ効果的なアライメント戦略である。 しかし、レコメンデーションシステムでは、ユーザからのフィードバックがペアワイズであることは滅多にない。 提案するMult-DPOは,LLMベースのレコメンデータシステムのユーザ嗜好アライメントのための,設定された選好イベントに対するトラクタブルな多項サロゲート確率である。
• 参考スコア（独自算出の注目度）: 72.27018654934386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Direct preference optimization (DPO) is a simple and effective alignment strategy for large language models (LLMs) based on pairwise preferences. In recommender systems, however, user feedback is rarely pairwise. For a given context, e.g., a user, a session, or a conversation, we typically observe set-wise preferences with multiple positive items, where every positive item should outrank every unobserved or explicitly negative item, with no prescribed order among the positives or the negatives themselves. A natural generalization is to use the Plackett-Luce (PL) reward model, which extends the Bradley-Terry reward model underlying vanilla DPO from pairwise preferences to full rankings of candidates. However, we show that adapting the PL model to set-wise preferences requires marginalizing over all positive orderings, where the resulting expression is combinatorial in complexity. To address this fundamental challenge, we propose Mult-DPO, a novel DPO objective with a tractable multinomial surrogate likelihood over set-wise preference events for the user-preference alignment of LLM-based recommender systems. The multinomial construction is not itself a ranking distribution, but it is defined on the same reward-induced weight space and admits a closed-form DPO-style objective, enabling direct alignment of LLMs with multiple candidates through a classification-style objective. In addition, we prove that the multinomial DPO loss is a tractable upper bound on the marginalized PL DPO loss when optimizing against the set-wise preference data. We further characterize the tightness of this bound in terms of the relative total weight of positives versus negatives, which provides insights into tightening the bound with richer or harder negatives. Finally, we extend Mult-DPO to the alignment of LLMs with multiple preference levels. Code is available at https://github.com/yaochenzhu/Mult_DPO
• Abstract（参考訳）: 直接選好最適化(DPO)は、ペアの選好に基づく大規模言語モデル(LLM)の簡易かつ効果的なアライメント戦略である。 しかし、レコメンデーションシステムでは、ユーザからのフィードバックがペアワイズであることは滅多にない。 特定のコンテキスト、例えば、ユーザ、セッション、会話では、通常、複数の正の項目でセットワイズな選好を観察します。 自然な一般化は、ブラドリー・テリー報酬モデル(英語版)(Bradley-Terry reward model)を拡張したプラケット・ルーシ報酬モデル(PL)を使用することである。 しかし, PLモデルをセットワイドな選好に適応させるには, 全ての正の順序付けに対して余剰化が必要であり, 結果として表現が複雑になることを示す。 この根本的な課題に対処するために,LLM ベースのレコメンデータシステムのユーザ-参照アライメントのための設定された選好イベントに対して,抽出可能な多項サロゲート可能性を持つ新しい DPO である Mult-DPO を提案する。 多項構成は、それ自体はランク分布ではないが、同じ報酬誘導重み空間上で定義され、閉形式DPOスタイルの目的を認め、分類スタイルの目的を通して複数の候補との直接アライメントを可能にする。 さらに、設定された選好データに対して最適化する場合、多項DPO損失が余分化PL DPO損失のトラクタブル上限であることを証明する。 さらに、この境界の厳密さを、正と負の相対的な総重みという観点で特徴づけ、よりリッチあるいはより硬い負との境界の締め付けに関する洞察を与える。 最後に、Mult-DPO を複数の選好レベルを持つ LLM のアライメントに拡張する。 コードはhttps://github.com/yaochenzhu/Mult_DPOで入手できる。

関連論文リスト

• MASS-DPO: Multi-negative Active Sample Selection for Direct Policy Optimization [66.81594613265833]
  直接選好最適化(DPO)を拡張したPlackett--Luce(PL)モデルに基づくマルチ負の選好最適化 そこで本研究では,PL固有のフィッシャー情報目的を導出し,各プロンプト内のコンパクトで情報的な負の部分集合を選択するマルチ負のアクティブサンプル選択法であるMASS-DPOを紹介する。 MASS-DPOは、既存の手法を常に精度で上回り、リコール/NDCGとマージンベースの最適化のダイナミクスを改善し、かなり少ない負のアライメントを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:18:08Z)
• HiPO: Hierarchical Preference Optimization for Adaptive Reasoning in LLMs [2.497936211748472]
  応答をセグメントに分割し,各セグメントに対するDPO損失の重み付け和として損失を算出するDPOの拡張であるHiPOを提案する。 提案手法は,DPOの計算効率と訓練安定性を維持しつつ,セグメント固有の訓練を可能にする。 また,Math Stack Exchange の選好データセット上で,HiPO と DPO を用いて微調整された複数の 7B LLM に対して,HiPO を用いて訓練したモデルが,様々な一般的なベンチマークで他のモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2026-04-22T03:08:30Z)
• TPO: Aligning Large Language Models with Multi-branch & Multi-step Preference Trees [19.99934360969673]
  本稿では、選好木からペア化された選好応答をサンプリングしないツリー選好最適化(TPO)を導入する。 TPOは、言語モデルのアライメントを、優先順位リストランキング問題として定式化する。 実験の結果、TPOは4つのデータセット上の5つの公開大言語モデルにおいて、DPOを一貫して上回ることがわかった。
  論文  参考訳（メタデータ） (2024-10-10T22:22:05Z)
• On Softmax Direct Preference Optimization for Recommendation [50.896117978746]
  そこで我々は,LMをベースとした推奨項目の識別を支援するために,ランキング情報をLMに挿入するソフトマックスDPO(S-DPO)を提案する。 具体的には、ユーザの嗜好データに複数の負を組み込んで、LMベースのレコメンデータに適したDPO損失の代替版を考案する。
  論文  参考訳（メタデータ） (2024-06-13T15:16:11Z)
• Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
  命令応答対に対して協調的に好みを抽出する新しい軸を提案する。 命令と応答ペアを併用することで、大きな言語モデルのアライメントを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-03-31T02:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。