論文の概要: ReAlign: Reward-Guided Preference Alignment for Generative Re-Ranking
- arxiv url: http://arxiv.org/abs/2611.15445v1
- Date: Wed, 11 Nov 2026 13:16:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.149457
- Title: ReAlign: Reward-Guided Preference Alignment for Generative Re-Ranking
- Title(参考訳): ReAlign: Reward-Guided Preference Alignment for Generative Re-Ranking
- Abstract要約: リグレードはアップストリームランクリストを改良し、リストワイズユーザユーティリティを最大化する。
我々は、リストワイズ報酬モデルと候補認識自動回帰生成器を結合した報酬誘導優先調整フレームワークである textbfReAlign を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Re-ranking refines the upstream ranked list to maximize listwise user utility. Existing two-stage generator-evaluator methods decouple list generation from list evaluation, leaving the generator without direct access to the listwise utility signal, while scoring-based one-stage methods score items under a fixed upstream permutation context without explicitly searching the permutation space. We propose \textbf{ReAlign}, a reward-guided preference alignment framework that couples a listwise reward model with a candidate-aware autoregressive generator. The reward model decomposes the listwise reward into position-wise contributions, modeling user exposure through a survival-based exposure module and item value through per-objective heads for heterogeneous engagement signals. The generator is trained in two stages: supervised pre-training on logged exposure lists to establish a relevance prior, followed by reward-guided post-training that aligns the generator with the reward model through complementary distribution and ranking alignment over within-pool standardized rewards. Extensive offline experiments show that ReAlign consistently outperforms existing state-of-the-art baselines.
- Abstract(参考訳): リグレードはアップストリームランクリストを改良し、リストワイズユーザユーティリティを最大化する。
既存の2段階のジェネレータ評価手法は、リスト評価からリスト生成を分離し、リストワイズ効用信号に直接アクセスすることなくジェネレータを残し、一方、スコアリングベースの1段階のメソッドは、順列空間を明示的に検索することなく、固定上流順列コンテキストでアイテムをスコアリングする。
本稿では,報酬誘導型選好アライメントフレームワークである‘textbf{ReAlign} を提案する。
報酬モデルは、リストワイズ報酬を、サバイバルベースの露光モジュールを介してユーザ露出をモデル化し、異種エンゲージメント信号のためのオブジェクトごとのヘッドを介してアイテム値としてリストワイズ報酬を分解する。
ジェネレータは2つの段階で訓練される: ログ付き露光リストの教師付き事前トレーニングにより、関連性を確立する。
大規模なオフライン実験は、ReAlignが既存の最先端ベースラインを一貫して上回っていることを示している。
関連論文リスト
- SWIM: Step-Wise Integrated Measure for Session-supervised List Evaluation in Generative Re-ranking [50.941707269747866]
ユーザ動作を有限水平プレフィックスのセッションレベルサバイバルプロセスとしてモデル化するリストレベル評価器SWIMを提案する。
SWIMは、リストワイドのタスクにおいて、ベースラインを著しく上回り、全体的なレコメンデーションエンゲージメントを大幅に改善することを示す。
論文 参考訳(メタデータ) (2026-08-25T19:57:48Z) - DeGRe: Dense-supervised Generative Reranking for Recommendation [22.41679588580571]
オフラインの探索とオンラインの効率のギャップを、密集した監督によって埋める、ジェネレーティブ・リグレード・フレームワークであるDeGReを提案する。
トレーニング中、評価器から高密度の監視信号に変換し、それらを軽量オンラインジェネレータに蒸留する。
私たちは、Taobao Flash ShoppingにDeGReをうまくデプロイし、オンラインレコメンデーションを大幅に改善しました。
論文 参考訳(メタデータ) (2026-05-25T12:00:42Z) - From Local Indices to Global Identifiers: Generative Reranking for Recommender Systems via Global Action Space [50.72071213515985]
GloRankは、ローカルインデックスの選択からグローバル識別子の生成に移行する、ジェネレーティブなフレームワークである。
我々はGloRankが最先端のベースラインを一貫して上回り、コールドスタートシナリオにおいて優れたロバスト性を実現することを示す。
論文 参考訳(メタデータ) (2026-04-28T06:57:00Z) - RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。
提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。
その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
論文 参考訳(メタデータ) (2026-04-13T15:38:09Z) - GReF: A Unified Generative Framework for Efficient Reranking via Ordered Multi-token Prediction [12.254397628788647]
ランク付けは、項目間のリスト内相関をモデル化する上で重要な役割を果たす。
最近の研究は2段階(ジェネレータ・評価器)パラダイムを踏襲している。
本稿では,2つの主要な課題に対処するため,GReF(Unified Generative Efficient Re rank Framework)を提案する。
論文 参考訳(メタデータ) (2025-10-29T06:54:42Z) - Rank-GRPO: Training LLM-based Conversational Recommender Systems with Reinforcement Learning [70.6126069527741]
ConvRec-R1は会話レコメンデーションシステムのエンドツーエンドトレーニングのための2段階のフレームワークである。
ステージ1では,Remap-Reflect-Adjustパイプラインを用いた行動閉鎖データセットを構築した。
ステージ2では,グループ相対政策最適化の原則的拡張である Rank-GRPO を提案する。
論文 参考訳(メタデータ) (2025-10-23T02:56:00Z) - GoalRank: Group-Relative Optimization for a Large Ranking Model [28.848650157261385]
我々は、常に最適なランキングポリシーに対する厳密な近似誤差を達成するジェネレータのみのモデルが存在すると論じる。
ジェネレータのみのランキングフレームワークであるGoalRankを提案する。
論文 参考訳(メタデータ) (2025-09-26T08:32:16Z) - NLGR: Utilizing Neighbor Lists for Generative Rerank in Personalized Recommendation Systems [13.848284819312953]
ジェネレーティブリジェネレータの近隣リストモデルは、空間におけるジェネレータのパフォーマンスを改善することを目的としている。
本稿では,既存のリストから任意の隣接リストへ柔軟にジャンプ可能な,サンプリングに基づく非自己回帰生成手法を提案する。
NLGRの有効性を実証し,NLGRをMeituanフードデリバリープラットフォームに導入することに成功している。
論文 参考訳(メタデータ) (2025-02-10T02:06:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。