論文の概要: DynamicPO: Dynamic Preference Optimization for Recommendation

• arxiv url: http://arxiv.org/abs/2605.00327v1
• Date: Fri, 01 May 2026 01:06:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.80827
• Title: DynamicPO: Dynamic Preference Optimization for Recommendation
• Title（参考訳）: DynamicPO:リコメンデーションのための動的推論最適化
• Abstract要約: 大規模言語モデル(LLM)ベースのレコメンデーションシステムでは、ダイレクトリコメンデーション最適化(DPO)は、リコメンデーションとユーザのリコメンデーションを効果的に整合させる。 実験により, 負のサンプル数の増加が性能劣化を引き起こすという, 直感的現象, 選好最適化の崩壊が明らかになった。 動的境界負選択とデュアルマージン動的ベータ調整という2つの適応的なメカニズムからなる軽量でプラグアンドプレイのフレームワークであるDynamicPOを提案する。
• 参考スコア（独自算出の注目度）: 25.125204801416587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In large language model (LLM)-based recommendation systems, direct preference optimization (DPO) effectively aligns recommendations with user preferences, requiring multi-negative objective functions to leverage abundant implicit-feedback negatives and sharpen preference boundaries. However, our empirical analyses reveal a counterintuitive phenomenon, preference optimization collapse, where increasing the number of negative samples can lead to performance degradation despite a continuously decreasing training loss. We further theoretically demonstrate that this collapse arises from gradient suppression, caused by the dominance of easily discriminable negatives over boundary-critical negatives that truly define user preference boundaries. As a result, boundary-relevant signals are under-optimized, weakening the model's decision boundary. Motivated by these observations, we propose DynamicPO (Dynamic Preference Optimization), a lightweight and plug-and-play framework comprising two adaptive mechanisms: Dynamic Boundary Negative Selection, which identifies and prioritizes informative negatives near the model's decision boundary, and Dual-Margin Dynamic beta Adjustment, which calibrates optimization strength per sample according to boundary ambiguity. Extensive experiments on three public datasets show that DynamicPO effectively prevents optimization collapse and improves recommendation accuracy on multi-negative preference optimization methods, with negligible computational overhead. Our code and datasets are available at https://github.com/xingyuHuxingyu/DynamicPO.
• Abstract（参考訳）: 大規模言語モデル(LLM)ベースのレコメンデーションシステムでは、直接選好最適化(DPO)がユーザの選好と効果的に一致し、多負の目的関数が過剰な暗黙のフィードバック陰性を利用し、選好境界を鋭くする。 しかし, 実験分析の結果, トレーニング損失が継続的に減少しても, 負のサンプル数の増加が性能低下につながるという, 直感的現象, 選好最適化の崩壊が明らかとなった。 さらに、この崩壊は、ユーザの嗜好境界を真に定義する境界クリティカルな負に対して、容易に識別可能な負が支配されることによって生じる勾配の抑制から生じることを理論的に証明する。 その結果、境界関連信号は過度に最適化され、モデルの決定境界が弱まる。 これらの観測により,モデル決定境界付近で情報的負を識別・優先順位付けする動的境界負選択と,境界あいまいさに応じてサンプル毎の最適化強度を調整するデュアルマージン動的ベータ調整という,2つの適応的メカニズムからなる軽量かつプラグアンドプレイフレームワークであるDynamicPO(Dynamic Preference Optimization)を提案する。 3つの公開データセットに対する大規模な実験により、DynamicPOは最適化の崩壊を効果的に防止し、計算オーバーヘッドが無視できる多負の選好最適化法における推奨精度を向上させることが示されている。 私たちのコードとデータセットはhttps://github.com/xingyuHuxingyu/DynamicPO.orgで公開されています。

関連論文リスト

• Preference Data Selection for Mitigating the Alignment Tax in Large Language Models [52.18310687523229]
  BALIGNは、アライメント効率を最適化しながら破滅的な忘れを緩和するバランスのとれたデータ選択戦略である。 3つの重要なデータ中心の機能を統一された複合リスクスコアに集約することにより、BALIGNは、ハイリスクな選好サンプルを体系的にフィルタリングする。 標準的な人間の嗜好データセットの実験では、BALIGNはアライメントゲインを損なうことなく基礎的能力を強く保持している。
  論文  参考訳（メタデータ） (2026-08-25T07:58:42Z)
• MASS-DPO: Multi-negative Active Sample Selection for Direct Policy Optimization [66.81594613265833]
  直接選好最適化(DPO)を拡張したPlackett--Luce(PL)モデルに基づくマルチ負の選好最適化 そこで本研究では,PL固有のフィッシャー情報目的を導出し,各プロンプト内のコンパクトで情報的な負の部分集合を選択するマルチ負のアクティブサンプル選択法であるMASS-DPOを紹介する。 MASS-DPOは、既存の手法を常に精度で上回り、リコール/NDCGとマージンベースの最適化のダイナミクスを改善し、かなり少ない負のアライメントを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:18:08Z)
• Gradient-Gated DPO: Stabilizing Preference Optimization in Language Models [0.0]
  我々はGate-DPO(Gradient-Gated Preference Optimization)を紹介する。 ゲート-DPOは、モデルの確率幾何学に従って無視された勾配を変調することで訓練を安定化する。 複数のアーキテクチャと選好データセットにわたる実験により、Gate-DPOは一貫してスキューズを減らし、選択応答の可能性を改善する。
  論文  参考訳（メタデータ） (2026-05-04T14:15:24Z)
• Towards Disentangled Preference Optimization Dynamics Beyond Likelihood Displacement [33.80669933764735]
  本稿では、選好最適化のインセンティブ・スコアを統一的に分解する。 遠近距離帯域 (DB) は, トレーニングが回避できる場合に特徴付ける, 単純で検証可能な条件である。 そこで本稿では,DB と確率変位を満たすために,選択された更新と削除された更新のバランスを適応的に調整するプラグイン・アンド・プレイ・アンフレワード・キャリブレーション(RC)を提案する。
  論文  参考訳（メタデータ） (2026-04-20T13:23:27Z)
• Aligning Multimodal Sequential Recommendations via Robust Direct Preference Optimization with Sparse MoE [7.609008983716641]
  我々は、一般的なネガティブ選択戦略とDPOトレーニングとの相互作用を比較するために、マルチモーダルシーケンシャルレコメンデーションの実験を行う。 我々の中心的な発見は、決定論的ハードネガティブを動的トップK候補プールからのサンプリングに置き換えた単純な修正により、常にランク付け性能が向上することである。
  論文  参考訳（メタデータ） (2026-03-31T04:49:32Z)
• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• Multimodal Large Language Models with Adaptive Preference Optimization for Sequential Recommendation [60.33386541343322]
  本稿では,Hardness-Aware とNoNoRec (HaNoRec) を併用したマルチモーダル大規模言語モデルフレームワークを提案する。 具体的には、HaNoRecは、各トレーニングサンプルの予測硬度とポリシーモデルのリアルタイム応答性の両方に基づいて、最適化重量を動的に調整する。
  論文  参考訳（メタデータ） (2025-11-24T04:10:46Z)
• Amortized Active Generation of Pareto Sets [48.56811624922571]
  A-GPSは、オンラインの離散ブラックボックスマルチオブジェクト最適化のための新しいフレームワークである。 メソッドは、非支配関係を予測するためにクラス確率推定器を使用する。 この非支配的CPEは,超ボリューム改善の確率を暗黙的に見積もっている。
  論文  参考訳（メタデータ） (2025-10-23T23:49:23Z)
• From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
  大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。 LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。 共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
  論文  参考訳（メタデータ） (2025-10-06T17:58:01Z)
• Linear Preference Optimization: Decoupled Gradient Control via Absolute Regularization [13.97375970293678]
  DPO(Direct Preference Optimization)は、その単純さと訓練安定性から、オフライン優先最適化アルゴリズムとして広く使われている。 3つの重要なイノベーションを特徴とする新しいアライメントフレームワークであるLinear Preference Optimization (LPO)を提案する。 まず,対数シグモイド関数を絶対差分損失に置き換え,最適化力学を分離することで勾配デカップリングを導入する。 第2に、選択された応答品質を維持するために、オフセット制約と正の正則化項を組み合わせることで安定性を向上させる。 第3に、直感的な推定を伴う勾配分離と、その相対確率の降下を線形に制御する調整可能な係数を用いて、制御可能な拒絶抑制を実装した。
  論文  参考訳（メタデータ） (2025-08-20T10:17:29Z)
• On Negative-aware Preference Optimization for Recommendation [10.082739500992545]
  LLMに基づくリコメンデーションにおいて、優先最適化のための拡張されたフレームワークであるNAPOを提案する。 NAPO は,(1) 負のサンプルのプールをメモリオーバーヘッドを伴わずに拡張する in-batch 負の共有,(2) 負のサンプルの信頼度に基づいてモデル更新を適応する dynamic reward margin adjust という2つの重要なイノベーションを導入している。
  論文  参考訳（メタデータ） (2025-08-13T09:37:07Z)
• Multi-Preference Optimization: Generalizing DPO via Set-Level Contrasts [17.243429150450886]
  応答集合全体の最適化のために,$textbfMulti-Preference Optimization (MPO)を提案する。 MPOは偏差に基づく重み付けを採用しており、平均的な報酬から最も逸脱する外れ値の応答を強調している。 理論的には、MPOはクエリ毎のレスポンス数に対して$mathcalOleft(frac1sqrtnright)$でアライメントバイアスを低減する。
  論文  参考訳（メタデータ） (2024-12-05T21:50:22Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。