論文の概要: Progressive Alignment of Recommender Foundation Model through Multi-Phase Post-Training
- arxiv url: http://arxiv.org/abs/2608.06792v1
- Date: Fri, 07 Aug 2026 04:30:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.359439
- Title: Progressive Alignment of Recommender Foundation Model through Multi-Phase Post-Training
- Title（参考訳）: 多相ポストトレーニングによるレコメンダ基礎モデルの段階的アライメント
- Abstract要約: Supervised Fine-Tuning (SFT) はしばしば Supervised Fine-Tuning (SFT) を通して下流の様々なサービス面に適応する。
本稿では、下流適応をビジネスメトリックアライメントから明確に分離する3段階のプログレッシブポストトレーニングフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 3.4199045834354855
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation model(FM) for recommendation has shown strong ability to model long-horizon sequential user behavior. In practice, a single pretrained foundation model is often adapted to diverse downstream serving surfaces through Supervised Fine-Tuning(SFT). However, optimizing task-specific objectives such as clicks or likes does not necessarily align the serving policy with the business metrics that determine recommendation quality. We propose a three-phase progressive post-training framework that explicitly separates downstream adaptation from business-metric alignment. The adaptation stage is decomposed into Linear Probing(LP) and Full Fine-Tuning(FFT): LP first stabilizes randomly initialized downstream heads within a frozen pretrained representation space, and FFT then jointly specializes the full model for the target task. On top of this stabilized policy, Reinforcement Fine-Tuning(RFT) aligns the model with practical business objectives using a learned reward model. Rather than directly optimizing the serving policy on sparse business targets, we train the policy on dense implicit feedback and use business-metric supervision only for reward modeling. Offline experiments show that the progressive LP-FFT-RFT framework outperforms single-phase alternatives, and that reward-based alignment yields a stronger serving policy than directly using the reward model itself for ranking. Large-scale online A/B tests further show that the proposed framework improves production recommendation quality over a conventional non-foundation baseline. A reference implementation is available at https://github.com/webtoon/rec-fm-progressive-alignment
- Abstract（参考訳）: 推奨のためのファンデーションモデル(FM)は、長い水平なシーケンシャルなユーザの振る舞いをモデル化する強力な能力を示している。
実際には、1つの事前訓練された基礎モデルは、スーパーバイザード・ファイン・チューニング(SFT)を通して様々な下流サービス面に適応することが多い。
しかし、クリックやいいね!のようなタスク固有の目的を最適化することは、推奨品質を決定するビジネス指標とサービスポリシーを一致させるとは限らない。
本稿では、下流適応をビジネスメトリックアライメントから明確に分離する3段階のプログレッシブポストトレーニングフレームワークを提案する。
適応段階はLinear Probing(LP)とFull Fine-Tuning(FFT)に分解され、LPは凍結した事前訓練された表現空間内でランダムに初期化された下流ヘッドを安定化し、FFTは目標タスクの完全なモデルを共同で特殊化する。
この安定政策に加えて、強化細調整(RFT)は、学習された報酬モデルを用いて、モデルを実用的なビジネス目的と整合させる。
疎密なビジネス目標に対するサービスポリシーを直接最適化するのではなく、密集した暗黙のフィードバックに基づいてポリシーをトレーニングし、報酬モデリングのみにビジネスメトリクスの監視を使用する。
オフライン実験により、プログレッシブLP-FFT-RFTフレームワークは単相代替よりも優れており、報酬ベースのアライメントは報酬モデル自体を直接ランク付けするために使用するよりも強力なサービスポリシーをもたらすことが示されている。
大規模オンラインA/Bテストは、提案フレームワークが従来の非境界ベースラインよりも生産レコメンデーション品質を向上させることを示す。
リファレンス実装はhttps://github.com/webtoon/rec-fm-progressive-alignmentで利用可能である。
関連論文リスト
- One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。
本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。
実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
論文 参考訳（メタデータ） (2026-05-21T08:25:27Z) - Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping [66.25536973294726]
テキスト・トゥ・イメージ(T2I)モデルのポストトレーニング手法はハッキングに報いる傾向がある。
SLAS(Super-Linear Advantage Shaping)は、地方政策の分野を再考する。
SLASは、DanceGRPOベースラインを複数のバックボーンとベンチマークで一貫して上回っている。
論文 参考訳（メタデータ） (2026-05-11T17:59:25Z) - Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
パラメータを好みに置き換えることは、よりスケーラブルでプライバシに保護される未来を表している、と私たちは主張する。
ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを用いた協調アライメントフレームワークであるMoRを提案する。
MoRは、一般化、堅牢性、およびクロスクライアント適応性において、連邦化されたアライメントベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-01-31T03:11:51Z) - MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。
我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。
本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
論文 参考訳（メタデータ） (2026-01-12T05:02:48Z) - Self-Rewarding PPO: Aligning Large Language Models with Demonstrations Only [70.43369087819332]
Supervised Fine-tuning (SFT) は、大規模な言語モデルと人間のアノテーションによる実演を整合させる重要な方法として登場した。
本稿では, 自己回帰型PPOを提案する。
論文 参考訳（メタデータ） (2025-10-24T02:02:13Z) - Towards Reliable, Uncertainty-Aware Alignment [12.63619480522393]
オープンソースベンチマークにおける報酬モデルトレーニングの多様性について検討する。
本稿では、好みに基づくアライメントのための分散対応ポリシー最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-21T12:51:29Z) - RecLLM-R1: A Two-Stage Training Paradigm with Reinforcement Learning and Chain-of-Thought v1 [20.92548890511589]
本稿では,Large Language Models(LLM)を利用したレコメンデーションフレームワークであるRecLLM-R1を紹介する。
RecLLM-R1は、精度、多様性、新規性など、さまざまな評価指標において、既存のベースラインメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2025-06-24T01:39:34Z) - Refine-POI: Reinforcement Fine-Tuned Large Language Models for Next Point-of-Interest Recommendation [51.08869388483333]
大規模言語モデル(LLM)は、次のPOI(point-of-interest)レコメンデーションタスクに採用されている。
次回のPOI勧告のための強化微調整フレームワークであるRefine-POIを提案する。
論文 参考訳（メタデータ） (2025-06-19T02:51:10Z) - Value-Free Policy Optimization via Reward Partitioning [0.08192907805418585]
単軌道強化学習のための新しい手法であるReward Partitioning Optimization (RPO)を導入する。
RPOは、データから直接推定されるアプローチを使用して、観察された報酬を正規化する。
我々は,Flan-T5エンコーダデコーダモデルを用いて,スカラーフィードバック言語モデリングタスクにおけるRPOの有効性を検証する。
論文 参考訳（メタデータ） (2025-06-16T17:06:27Z) - Contrastive Policy Gradient: Aligning LLMs on sequence-level scores in a supervised-friendly fashion [43.77763433288893]
コントラストポリシーグラディエント(Contrastive Policy Gradient, COPG)は、単純かつ数学的に原理化された新しいRLアルゴリズムである。
本稿では,直接アライメント手法のIPO(アイデンティティ優先最適化)と古典的政策勾配を一般化する手法を提案する。
提案したCOPGをおもちゃのバンディット問題で実験し,その特性を説明するとともに,要約タスクでLLMを微調整する。
論文 参考訳（メタデータ） (2024-06-27T14:03:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。