論文の概要: RPSD: Retrieval-Privileged On-Policy Self-Distillation with Optimal Transport

• arxiv url: http://arxiv.org/abs/2610.37281v1
• Date: Tue, 27 Oct 2026 14:08:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.652076
• Title: RPSD: Retrieval-Privileged On-Policy Self-Distillation with Optimal Transport
• Title（参考訳）: RPSD:最適輸送を用いた検索型オンデマンド自己蒸留
• Abstract要約: 本稿では,クレジットブラインド最適化と協調ブラインド監視のためのPRSD(Retrieval-Privileged on-policy Self-Distillation)を提案する。 RPSDは細かいトークンレベルのクレジットを提供するが、OTは構造化されたクロスユーザー証拠で教師を豊かにする。 これは、政治上の自己蒸留をシーケンシャルなレコメンデーションに持ち込み、特権的な信号としてユーザ間の振る舞いを使用する最初の試みである。
• 参考スコア（独自算出の注目度）: 22.75900460672987
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Sequential recommendation predicts a user's next interaction from historical behavior. Recent LLM-based methods recast this task as generative recommendation and increasingly adopt reinforcement learning such as GRPO for post-training. However, these methods suffer from two limitations, namely credit-blind optimization, where a sequence-level reward is shared across all generated tokens, and collaborative-blind supervision, where each training signal is derived from a single user and ignores behavioral patterns shared across similar users. To address both issues, we propose Retrieval-Privileged on-policy Self-Distillation (RPSD). For credit-blind optimization, we introduce on-policy self-distillation (OPSD), in which a teacher with privileged knowledge re-evaluates the student's on-policy response, and the token-level confidence difference between the student and teacher reshapes the shared sequence-level advantage into token-specific credit. However, the privileged knowledge in vanilla OPSD is still derived from a single user, leaving collaborative-blind supervision unresolved. We therefore ground the teacher in collaborative behavioral evidence from similar users. Specifically, we use temporally aware optimal transport (OT) to compare interaction trajectories across users by jointly considering item similarity and temporal structure, and further apply diversity-aware selection to retain complementary trajectories as privileged evidence. In this way, on-policy self-distillation provides fine-grained token-level credit, while OT enriches the teacher with structured cross-user evidence. To the best of our knowledge, this is the first work to bring on-policy self-distillation to sequential recommendation and to use cross-user behavior as its privileged signal. Extensive experiments across multiple real-world datasets demonstrate that RPSD achieves state-of-the-art performance.
• Abstract（参考訳）: 時系列レコメンデーションは、ユーザの次のインタラクションを過去の行動から予測する。 近年のLCMに基づく手法では、このタスクを生成的レコメンデーションとして再評価し、GRPOなどの強化学習をポストトレーニングに取り入れている。 しかし、これらの手法には、2つの制限がある。例えば、シーケンスレベルの報酬を生成されたトークン間で共有するクレジット・ブラインド最適化と、各トレーニング信号が単一のユーザから導出され、類似ユーザ間で共有される行動パターンを無視するコラボ・ブラインド監視である。 両問題に対処するため,我々はPRSD(Retrieval-Privileged on-policy Self-Distillation)を提案する。 クレジットブラインド最適化では,特権知識を持つ教師が生徒のオン政治反応を再評価し,学生と教師のトークンレベルの信頼度の違いが,共有シーケンスレベルの優位性をトークン固有の信用に再評価する,オン政治自己蒸留(OPSD)を導入する。 しかしながら、バニラOPSDの特権的知識は依然として単一ユーザから派生しており、共同盲検による監視は未解決のままである。 そこで我々は,類似ユーザからの協調行動証拠を教師に提示する。 具体的には、アイテムの類似性や時間的構造を共同で考慮し、ユーザ間の相互作用軌跡を比較するために、時間的認識の最適輸送(OT)を用い、さらに多様性に配慮した選択を適用して、補完的な軌跡を特権的証拠として保持する。 このようにして、オンライン自己蒸留は細かいトークンレベルの信用を提供する一方、OTは構造化されたクロスユーザー証拠で教師を豊かにする。 私たちの知る限りでは、これは、政治的自己蒸留をシーケンシャルなレコメンデーションに導入し、特権的な信号としてクロスユーザー行動を使用する最初の試みである。 複数の実世界のデータセットにわたる大規模な実験は、RPSDが最先端のパフォーマンスを達成することを示す。

関連論文リスト

• SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation [24.836022752759035]
  検証可能な報酬付き強化学習(RLVR)は,様々なタスクにおいて大規模言語モデル(LLM)を改善するための標準パラダイムとなっている。 我々は,自己指導型政策最適化(SIPO)と対照的な自己指導型政策最適化(SIPO)を提案する。
  論文  参考訳（メタデータ） (2026-09-29T05:15:41Z)
• Latent On-Policy Self-Distillation [55.57800223145407]
  On-policy Self-distillation (OPSD) は、特権的な自己教育者を用いて、生徒自身の軌跡を集中的に管理することにより、効果的な経路を提供する。 既存の方法はまだデザイナーが指定した特権的アーティファクトに大きく依存している。 本稿では,教師の特権的文脈自体を経験から学習可能なエンド・ツー・エンドにするため,LOPD(Latent On-Policy Self-Distillation)を導入する。
  論文  参考訳（メタデータ） (2026-08-13T10:05:51Z)
• When Does On-Policy Interaction Help? Representational Tradeoffs in Value-Based Imitation Learning [70.72643569128316]
  イミテーション学習(Imitation Learning, IL)は、エージェントがデモンストレーションから専門家の行動を再現するように訓練する。 我々は,学習者が専門家の値関数を表現できる場合,統計的に効率的である,インタラクティブなオンラインILアルゴリズムであるOVIを紹介する。 OVIは、オフラインポリシーベース(BC)、インタラクティブポリシーベース(DAgger)、オフライン価値ベースのILメソッドよりも優れており、学習者ネットワークが専門家よりも表現力に乏しい場合に最大である。
  論文  参考訳（メタデータ） (2026-07-31T16:52:47Z)
• Learning from the Future: Privileged Self-Distillation for Sequential Recommendation [51.993699802866956]
  本稿では,学習時間情報と推論時間情報とを分離するフレームワークを提案する。 Privileged Self-Distillation (PSD)は、学習時間情報を推論時間情報から分離する。 PSDは1つの段階でエンドツーエンドに最適化され、デプロイされたモデルと推論コストは変わらない。
  論文  参考訳（メタデータ） (2026-07-29T15:47:22Z)
• OmniOPSD: Rationale-Privileged On-Policy Self-Distillation for Affective Computing [62.62736813348113]
  大規模言語モデルの強化学習は、複雑な推論タスクにおいて深刻な報酬の分散によって妨げられることが多い。 我々は,フロンティア生成論理を教師側の特権的証拠として利用するフレームワークであるOmniOPSDを提案する。 MER-UniBenchの実験では、OmniOPSDは平均スコアが84.19ドルで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2026-06-14T16:51:22Z)
• EDGE-OPD: Internalizing Privileged Context with Evidence Guided On-Policy Distillation [5.310892696470208]
  On-Policy Distillation (OPD)はLLMポストトレーニングパラダイムとして広く注目を集めている。 このアプローチの課題は、特権情報によって、意図よりもモデル行動を変えることができることだ。 EviDence GuidEd On-Policy Distillation (EDGE-OPD)を提案する。
  論文  参考訳（メタデータ） (2026-05-22T10:55:15Z)
• A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
  新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。 合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。 実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。 高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
  論文  参考訳（メタデータ） (2024-12-18T15:38:39Z)
• Multi-Type Preference Learning: Empowering Preference-Based Reinforcement Learning with Equal Preferences [12.775486996512434]
  嗜好に基づく強化学習は、エージェント行動に関する人間教師の嗜好から直接学習する。 既存のPBRL法はしばしば明示的な選好から学習し、教師が平等な選好を選択する可能性を無視している。 そこで本稿では,PBRL手法であるMulti-Type Preference Learning (MTPL)を提案する。
  論文  参考訳（メタデータ） (2024-09-11T13:43:49Z)
• Leave No One Behind: Online Self-Supervised Self-Distillation for Sequential Recommendation [20.52842524024608]
  シーケンシャルレコメンデーション手法は、現代のレコメンデーションシステムにおいて重要な役割を担っている。 近年の手法では、コントラスト学習を利用して自己超越信号の導出を行っている。 そこで我々は,オンライン自己監督型自己蒸留(Online Self-Supervised Self-distillation for Sequential Recommendation)という新しい学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-03-22T12:27:21Z)
• Self-Supervised Reinforcement Learning for Recommender Systems [77.38665506495553]
  逐次リコメンデーションタスクのための自己指導型強化学習を提案する。 提案手法は,2つの出力層を持つ標準レコメンデーションモデルを強化する。 このようなアプローチに基づいて、自己監督型Q-ラーニング(SQN)と自己監督型アクター・クライブ(SAC)という2つのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T11:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。